基于零阶信息的高效知识图谱遗忘算法
机器学习
2025-08-20 v1 人工智能
摘要
受《忘却权》等法规的约束，越来越多的人们要求从模型中移除训练数据及其影响。由于全量重新训练成本高昂，各类机器学习遗忘方法不断涌现。本文首先提出一种高效的知识图谱（KG）遗忘算法。我们指出，由于知识图谱独特的结构以及实体之间语义关系，KG遗忘并非易事。此外，依赖估计被删除组件影响来进行遗忘的做法在大规模知识图谱上会带来显著的计算开销。为此，我们定义了KG遗忘的影响函数，并提出利用零阶优化来近似模型对参数的敏感性，从而避免计算一阶和二阶导数所需的高额计算成本。具体而言，我们利用泰勒展开来估计数据删除导致的参数变化。鉴于一阶梯度和二阶导数占据计算负荷的主导地位，我们采用Fisher矩阵和零阶优化来近似求解逆Hessian向量积，而无需构建计算图。我们的实验结果表明，所提方法在遗忘效率和遗忘质量方面均显著优于其他最先进的图结构遗忘基线方法。我们的代码已发布于 https://github.com/NKUShaw/ZOWFKGIF。
引用
@article{arxiv.2508.14013,
title = {Efficient Knowledge Graph Unlearning with Zeroth-order Information},
author = {Yang Xiao and Ruimeng Ye and Bohan Liu and Xiaolong Ma and Bo Hui},
journal= {arXiv preprint arXiv:2508.14013},
year = {2025}
}
备注
9 page