FedNSAM：联邦学习中局部与全局平坦性的一致性
机器学习
2026-04-21 v1 人工智能
摘要
在联邦学习(FL)中，多步骤的本地更新和数据异构性通常会导致全局最小值变得更尖锐，从而降低全局模型的性能。流行的FL算法将锐度感知最小化(SAM)集成到本地训练中以解决此问题。然而，在高数据异构性设置下，本地训练的平坦性并不意味着全局模型的平坦性。因此，最小化客户端数据上局部损失表面的锐度，并不能实现在FL中有效使用SAM以提高全局模型泛化能力。我们定义了“平坦距离”来解释这一现象。通过重新思考FL中的SAM并理论分析“平坦距离”，我们提出了一种新颖的FedNSAM算法，通过引入全局Nesterov动量来加速SAM算法，以实现全局和局部平坦性的一致性。FedNSAM将全局Nesterov动量作为本地对客户端全局扰动估计的方向和外推。理论上，我们证明了相对于FedSAM通过Nesterov外推获得更紧的收敛界限。实验上，我们在CNN和Transformer模型上进行全面实验，以验证FedNSAM的卓越性能和效率。代码可在 https://github.com/junkangLiu0/FedNSAM 上获得。
关键词
引用
@article{arxiv.2602.23827,
title = {FedNSAM:Consistency of Local and Global Flatness for Federated Learning},
author = {Junkang Liu and Fanhua Shang and Yuxuan Tian and Hongying Liu and Yuanyuan Liu},
journal= {arXiv preprint arXiv:2602.23827},
year = {2026}
}