通过偏好优化实现知识图谱嵌入的遗忘学习
人工智能
2025-07-29 v1
摘要
现有的知识图谱不可避免地包含需要从知识图谱嵌入模型中移除的过时或错误知识。为应对这一挑战，可应用知识遗忘来消除特定信息，同时保留知识图谱中剩余知识的完整性。现有的遗忘方法通常可分为精确遗忘和近似遗忘。然而，精确遗忘需要高昂的训练成本，而近似遗忘由于三元组固有的连通性，在应用于知识图谱时面临两个问题：(1) 它无法完全移除目标信息，因为被遗忘的三元组仍可从剩余三元组中推断出来。(2) 它专注于特定移除的局部数据，这削弱了遗忘边界内的剩余知识。为解决这些问题，我们提出GraphDPO，一种基于直接偏好优化的新型近似遗忘框架。首先，为有效移除被遗忘的三元组，我们将遗忘重新表述为一个偏好优化问题，其中模型通过DPO进行训练，使其更倾向于重构的替代方案而非原始的被遗忘三元组。这种表述惩罚了对可遗忘知识的依赖，从而减轻了由知识图谱连通性导致的不完全遗忘。此外，我们引入了一种边界外采样策略来构建语义重叠最小的偏好对，削弱了被遗忘知识与保留知识之间的联系。其次，为保留边界知识，我们引入了一种边界回放机制，该机制在时间步内和跨时间步重放并蒸馏相关信息。我们在四个流行的知识图谱上构建了八个具有不同遗忘率的遗忘数据集。实验表明，GraphDPO在MRR_Avg和MRR_F1指标上分别比最先进的基线方法高出高达10.1%和14.0%。
引用
@article{arxiv.2507.20566,
title = {Unlearning of Knowledge Graph Embedding via Preference Optimization},
author = {Jiajun Liu and Wenjun Ke and Peng Wang and Yao He and Ziyu Shang and Guozheng Li and Zijie Xu and Ke Ji},
journal= {arXiv preprint arXiv:2507.20566},
year = {2025}
}