中文

擦除后校正:一种用于高效图机器遗忘的免训练参数编辑方法

机器学习 2024-12-20 v2 人工智能

摘要

图机器遗忘旨在从已训练的图神经网络(GNN)中消除特定节点、边或属性的影响,在涉及隐私、偏见或数据过时的应用中至关重要。然而,现有的图机器遗忘技术通常需要对剩余数据进行额外训练,导致显著的计算开销,尤其是在大规模图上。为了应对这些挑战,我们提出了一种两阶段的免训练方法——擦除后校正,旨在实现高效且可扩展的图机器遗忘,同时保持模型效用。具体而言,我们首先建立了一个理论基础,证明对被遗忘样本的关键参数进行掩码操作可以实现有效遗忘。基于这一洞察,擦除阶段策略性地编辑模型参数,以消除被遗忘样本的影响及其对相关联节点的传播影响。为了进一步确保 GNN 的效用,校正阶段设计了一种梯度近似方法来估计模型在剩余数据集上的梯度,并以此提升模型性能。总体而言,ETR 在无需额外训练或访问完整训练数据的情况下实现了图机器遗忘,显著降低了计算开销并保护了数据隐私。在七个公共数据集上的大量实验证明了 ETR 在模型效用、遗忘效率和遗忘效果上的持续优越性,使其成为解决现实世界图机器遗忘挑战的有前途的方案。

关键词

引用

@article{arxiv.2409.16684,
  title  = {Erase then Rectify: A Training-Free Parameter Editing Approach for Cost-Effective Graph Unlearning},
  author = {Zhe-Rui Yang and Jindong Han and Chang-Dong Wang and Hao Liu},
  journal= {arXiv preprint arXiv:2409.16684},
  year   = {2024}
}

备注

Accepted by AAAI2025