梯度压缩可能损害泛化性：一种通过合成数据引导的锐化感知最小化方法
机器学习
2026-02-13 v1 人工智能
摘要
人们常认为在联邦学习中进行梯度压缩可显著提升通信效率且性能 degradation 影响微乎其微。本文指出，梯度压缩会导致联邦学习中损失景观变得更锐利，尤其是在非 IID 数据分布下，这暗示了泛化能力受阻。最近出现的锐化感知最小化(SAM)通过在著名的随机梯度下降之前引入梯度上升步骤(即对模型进行梯度扰动)来有效搜索平坦的最小值。然而，SAM 在联邦学习中的直接应用因数据异构性导致全局扰动估计不准。现有方法利用上一通信轮的模型更新作为粗略估计，但当模型更新压缩后其有效性受阻。本文提出 FedSynSAM，通过利用全局模型轨迹构建合成数据以实现对全局扰动的准确估计。我们建立了所提算法的收敛性，并通过大量实验验证其有效性。
引用
@article{arxiv.2602.11584,
title = {Gradient Compression May Hurt Generalization: A Remedy by Synthetic Data Guided Sharpness Aware Minimization},
author = {Yujie Gu and Richeng Jin and Zhaoyang Zhang and Huaiyu Dai},
journal= {arXiv preprint arXiv:2602.11584},
year = {2026}
}