FedVSSAM：缓解尖锐感知型联邦学习中的平坦性不兼容问题
机器学习
2026-05-12 v1
摘要
尖锐感知最小化(SAM)是提高联邦学习(FL)泛化性能的有效方法，通过引导局部训练朝向平坦最小值方向发展。然而，在数据异构性下，设备端的SAM会寻找与全局目标所偏好平坦区域不兼容的局部平坦区域。我们识别了这种结构性失效模式为平坦性不兼容问题，这解释了为何仅提高局部平坦性可能对全局模型的训练和泛化提升有限。我们揭示了平坦性不兼容问题源于数据异构性和友好对手现象，同时局部更新和部分设备参与会进一步放大这种问题。为缓解此问题，我们提出了具有方差抑制尖锐感知最小化的联邦学习方法(FedVSSAM)，通过构建方差抑制调整方向并在局部平坦搜索、局部下降和全局更新中持续使用该方向。FedVSSAM将扰动和更新方向都锚定到更稳定的全局方向，而不仅仅是纠正孤立的局部扰动。我们为FedVSSAM建立了非凸收敛保证，证明了调整方向与全局梯度之间的均方偏差得到有效控制。实验表明，FedVSSAM成功缓解了平坦性不兼容问题，在多样化的FL设置下均优于基线方法。
引用
@article{arxiv.2605.09144,
title = {FedVSSAM: Mitigating Flatness Incompatibility in Sharpness-Aware Federated Learning},
author = {Bingnan Xiao and Yuan Gao and Bingcong Li and Wei Ni and Xin Wang and Tony Q. S. Quek},
journal= {arXiv preprint arXiv:2605.09144},
year = {2026}
}