用于缓解联邦学习中固有类别间差异的部分知识蒸馏
机器学习
2025-05-01 v2
摘要
大量工作致力于缓解联邦学习中长尾类别分布的影响。本文观察到一种有趣的现象，即即使进行类别平衡学习，某些弱类仍然持续存在。与前期研究中的少数类的不同的是，这些弱类固有地来源于数据，对各种网络结构、学习范式和数据划分方法而言都相当一致。固有的类别间准确率差异可达联邦学习在 FashionMNIST 和 CIFAR-10 数据集上超过 36.9%，即使类别在全球和局部上都均衡。本文对这一现象的潜在原因进行了经验性分析。进而提出一种部分知识蒸馏（PKD）方法，以提高模型对弱类的分类准确率。在该方法中，知识传递发生在特定弱类内部发生的误分类之后。实验结果表明，弱类的准确率可提高 10.7%，显著降低了固有的类别间差异。
引用
@article{arxiv.2411.15403,
title = {Partial Knowledge Distillation for Alleviating the Inherent Inter-Class Discrepancy in Federated Learning},
author = {Xiaoyu Gan and Jingbo Jiang and Jingyang Zhu and Xiaomeng Wang and Xizi Chen and Chi-Ying Tsui},
journal= {arXiv preprint arXiv:2411.15403},
year = {2025}
}
备注
10 pages, under review