FedFN：用于缓解联邦学习中数据异构问题的特征归一化
机器学习
2023-11-23 v1 人工智能
计算机视觉与模式识别
摘要
联邦学习（FL）是一种在去中心化环境下保护数据隐私的协作训练模型方法。然而，FL面临与数据异构相关的挑战，可能导致性能下降。在我们的研究中，观察到随着数据异构程度增加，FedAVG模型中的特征表示比分类器权重退化得更显著。此外，我们观察到随着数据异构程度增加，来自局部模型的已观测类的较高特征范数与未观测类的特征范数之间的差距扩大，这与分类器权重范数的行为相反。这一扩大的差距还延伸到局部模型与全局模型之间的特征范数差异。为解决这些问题，我们引入具有特征归一化更新的联邦平均（FedFN），一种简洁的学习方法。我们通过大量实验证明了FedFN的优越性能，即使应用于预训练的ResNet18时亦然。随后，我们确认了FedFN对基础模型的适用性。
引用
@article{arxiv.2311.13267,
title = {FedFN: Feature Normalization for Alleviating Data Heterogeneity Problem in Federated Learning},
author = {Seongyoon Kim and Gihun Lee and Jaehoon Oh and Se-Young Yun},
journal= {arXiv preprint arXiv:2311.13267},
year = {2023}
}
备注
NeurIPS Workshop: "Federated Learning in the Age of Foundation Models" 2023