通过寻求平坦极小值改进联邦学习中的泛化能力
机器学习
2022-07-22 v3 计算机视觉与模式识别
摘要
在联邦设置下训练的模型常常面临性能下降且泛化失败的问题，尤其在面对异构场景时。本文通过损失几何与 Hessian 特征谱的视角研究此类行为，将模型泛化能力的缺失归因于解的尖锐度。受先前将损失面尖锐度与泛化差距相联系的研究启发，我们表明：i) 在客户端使用 Sharpness-Aware Minimization (SAM) 或其自适应版本 (ASAM) 进行本地训练，以及 ii) 在服务器端对随机权重进行平均 (SWA)，可大幅改进联邦学习中的泛化并有助于缩小与集中式模型的差距。通过在具有均匀低损失的邻域内寻求参数，模型收敛至更平坦的极小值，其在同构与异构场景下的泛化均显著改善。实证结果证明了这些优化器在多种基准视觉数据集（如 CIFAR10/100、Landmarks-User-160k、IDDA）与任务（大规模分类、语义分割、域泛化）上的有效性。
引用
@article{arxiv.2203.11834,
title = {Improving Generalization in Federated Learning by Seeking Flat Minima},
author = {Debora Caldarola and Barbara Caputo and Marco Ciccone},
journal= {arXiv preprint arXiv:2203.11834},
year = {2022}
}
备注
Accepted to ECCV 2022