标签分布偏斜数据中的联邦遗忘模型恢复
机器学习
2024-12-23 v2
摘要
在联邦学习中，联邦遗忘是一种为客户提供回滚机制的技术，允许他们撤回数据贡献而无需从头训练。然而，现有研究未考虑标签分布偏斜的场景。不幸的是，偏斜数据客户的遗忘通常会导致模型有偏，难以提供高质量服务，使恢复过程复杂化。本文提出了一种针对标签分布偏斜的联邦遗忘恢复方法。具体来说，我们首先采用一种结合过采样与深度学习的策略，为偏斜类数据补充样本以进行恢复训练，从而增强其本地数据集的完整性。随后，应用基于密度的去噪方法去除生成数据中的噪声，进一步提高剩余客户数据集的质量。最后，所有剩余客户利用增强后的本地数据集进行迭代训练，有效恢复遗忘模型的性能。在常用联邦学习数据集上进行的广泛评估（具有不同程度的偏斜性）表明，我们的方法在恢复遗忘模型性能方面优于基线方法，尤其是在偏斜类上的准确率方面。
引用
@article{arxiv.2412.13466,
title = {Federated Unlearning Model Recovery in Data with Skewed Label Distributions},
author = {Xinrui Yu and Wenbin Pei and Bing Xue and Qiang Zhang},
journal= {arXiv preprint arXiv:2412.13466},
year = {2024}
}