探索标签偏斜联邦学习中的空缺类别
机器学习
2024-12-17 v3 计算机视觉与模式识别
摘要
标签偏斜（label skews）的特征是客户端间局部标签分布的差异，这对联邦学习构成了重大挑战。由于少数类因在局部不平衡数据上过拟合而导致准确率较差，先前的方法通常在局部训练期间纳入类别平衡学习技术。虽然这些方法提高了所有类别的平均准确率，但我们观察到空缺类别（指客户端数据分布中缺失的类别）仍然难以被识别。此外，局部模型在少数类上的准确率与全局模型相比仍存在差距。本文介绍了 FedVLS，这是一种针对标签偏斜联邦学习的新颖方法，同时整合了空缺类别蒸馏和 logit 抑制。具体而言，空缺类别蒸馏利用知识蒸馏，在每个客户端的局部训练期间保留来自全局模型的与空缺类别相关的关键信息。此外，logit 抑制直接惩罚非标签类别的网络 logits，有效解决了可能偏向多数类的少数类误分类问题。大量实验验证了 FedVLS 的有效性，表明其在具有不同程度标签偏斜的多样化数据集上，性能优于之前的最先进（SOTA）方法。我们的代码可在 https://github.com/krumpguo/FedVLS 获取。
引用
@article{arxiv.2401.02329,
title = {Exploring Vacant Classes in Label-Skewed Federated Learning},
author = {Kuangpu Guo and Yuhe Ding and Jian Liang and Ran He and Zilei Wang and Tieniu Tan},
journal= {arXiv preprint arXiv:2401.02329},
year = {2024}
}
备注
AAAI2025