Distill to Delete：通过知识蒸馏进行图网络的遗忘
机器学习
2024-06-11 v2
摘要
图遗忘（graph unlearning）已成为从预训练的图神经网络（GNN）中删除信息的关键方法，可删除节点、节点类别、边或边类别。在遗忘方法中，GNN 能遵守数据保护法规（即“被遗忘权”），适应不断变化的数据分布，并通过避免重复训练来减少 GPU 小时级的碳足迹。现有的基于分区和聚合的方法由于对局部图依赖处理不当和额外开销问题存在局限性。更近期的 GNNDelete 提出了一种模型无关的方法，以缓解部分问题。我们的工作通过知识蒸馈提出了一种新颖方法，以应对图遗忘中的挑战，即 distill to delete in GNN（D2DGN）。它是一种模型无关的蒸馈框架，将完整图知识分为保留和删除两部分。它采用基于响应的软目标和基于特征的节点嵌入进行蒸馈，同时最小化 KL 散度。未遗忘的模型有效地移除了已删除图元素的影响，同时保留关于保留图元素的知识。D2DGN 在各种真实图数据集上评估， 在边缘和节点遗忘任务中相较于现有方法可提高最高达 43.1%（AUC）。其他显著优势包括更好的效率、更好的删除目标元素表现、保留元素性能保持以及零额外开销。值得注意的是，我们的 D2DGN 在 AUC 上超过了最新方法 GNNDelete 提高了 2.4%，在成员推断比率上提高 +1.3，每个前向传播减少 1020 万个 FLOPs，速度提升最高可达 3.2 倍。
引用
@article{arxiv.2309.16173,
title = {Distill to Delete: Unlearning in Graph Networks with Knowledge Distillation},
author = {Yash Sinha and Murari Mandal and Mohan Kankanhalli},
journal= {arXiv preprint arXiv:2309.16173},
year = {2024}
}