GONE：基于邻域扩展分布塑形的结构知识无学习
计算与语言
2026-05-12 v1 机器学习
摘要
在大语言模型 (LLMs) 中执行知识无学习是一项紧迫且具有挑战性的任务，因为它们能够在大规模训练数据中记忆和摄取信息，从而引发更大范围的安全、隐私和知识产权问题。然而，现有工作包括参数编辑、微调和蒸馏等方法，均聚焦于平坦的句子级数据，忽略了自然结构数据中存在的关系型、多跳及推理性知识。为弥合这一差距，本文提出了图谱遗忘与节点擦除 (Graph Oblivion and Node Erasure, GONE)，一个用于评估大语言模型中结构知识图谱事实无学习的基准。该基于知识图谱的基准实现了对无学习三个效应的解耦：直接事实删除、推理性泄漏以及灾难性遗忘。此外，设计了邻域扩展分布塑形 (Neighborhood-Expanded Distribution Shaping, NEDS) 的新型无学习框架，利用图的连通性识别锚定相关邻居，强制在被遗忘事实及其语义邻域之间建立精确的决策边界。在针对 LLaMA-3-8B 和 Mistral-7B 进行多种知识编辑与无学习方法评估后，NEDS 在 GONE 及其他基准上的表现卓越（无学习效果为 1.000，局部性为 0.839）。代码已公开于 https://anonymous.4open.science/r/GONE-4679/。
引用
@article{arxiv.2603.12275,
title = {GONE: Structural Knowledge Unlearning via Neighborhood-Expanded Distribution Shaping},
author = {Chahana Dahal and Ashutosh Balasubramaniam and Zuobin Xiong},
journal= {arXiv preprint arXiv:2603.12275},
year = {2026}
}