无惧异构性：面向非独立同分布数据的联邦学习分类器校准
机器学习
2021-10-29 v2 计算机视觉与模式识别
分布式、并行与集群计算
机器学习
摘要
在真实世界联邦系统中训练分类模型的一个核心挑战是使用非 IID 数据学习。为应对此问题，现有工作大多在局部优化中施加正则化或改进服务器端的模型聚合方案。其他工作也共享公共数据集或合成样本以补充欠表示类别的训练，或引入一定程度的个性化。尽管有效，它们缺乏对数据异构性如何影响深度分类模型各层的深入理解。在本文中，我们通过针对不同层所学表征的实验分析弥补了这一空白。我们的观察令人惊讶：（1）分类器比其他层存在更大的偏差；（2）通过在联邦训练后对分类器进行后校准可显著提升分类性能。受上述发现启发，我们提出了一种新颖而简单的算法，称为基于虚拟表征的分类器校准（CCVR），其利用从近似高斯混合模型中采样的虚拟表征来调整分类器。实验结果表明，CCVR 在包括 CIFAR-10、CIFAR-100 和 CINIC-10 在内的流行联邦学习基准上达到了最先进的性能。我们希望这一简单而有效的方法能为未来非 IID 数据联邦学习的研究提供一些启示。
引用
@article{arxiv.2106.05001,
title = {No Fear of Heterogeneity: Classifier Calibration for Federated Learning with Non-IID Data},
author = {Mi Luo and Fei Chen and Dapeng Hu and Yifan Zhang and Jian Liang and Jiashi Feng},
journal= {arXiv preprint arXiv:2106.05001},
year = {2021}
}
备注
22 pages, NeurIPS 2021