基于类别判别剪枝的联邦遗忘
计算机视觉与模式识别
2022-02-01 v3 密码学与安全
分布式、并行与集群计算
机器学习
摘要
我们探索在联邦学习（FL）中从训练好的 CNN 分类模型中选择性遗忘类别的问题。鉴于在 FL 中无法全局访问用于训练的数据，我们的洞察深入探究每个通道的内部影响。通过可视化不同通道激活的特征图，我们观察到在图像分类中不同通道对不同类别的贡献各异。受此启发，我们提出一种将模型中关于特定类别的信息清除干净的方法。该方法不需要从头重新训练，也不需要在全局访问用于训练的数据。相反，我们引入词频逆文档频率（TF-IDF）的概念来量化通道的类别判别性。具有高 TF-IDF 分数的通道对目标类别具有更强的判别性，因此需要被剪枝以遗忘。通道剪枝之后跟随一个微调过程以恢复被剪枝模型的性能。在 CIFAR10 数据集上评估，与从头重训相比，我们的方法对 ResNet 模型将遗忘速度提升了 8.9 倍，对 VGG 模型提升了 7.9 倍，且精度无下降。对于 CIFAR100 数据集，加速比分别为 9.9 倍和 8.4 倍。我们设想本工作是 FL 朝向符合法律与伦理准则的一块补充模块。
引用
@article{arxiv.2110.11794,
title = {Federated Unlearning via Class-Discriminative Pruning},
author = {Junxiao Wang and Song Guo and Xin Xie and Heng Qi},
journal= {arXiv preprint arXiv:2110.11794},
year = {2022}
}
备注
WWW2022