STEAM：面向大型语言模型的语义级知识编辑框架
计算与语言
2025-10-14 v1 人工智能
摘要
大型语言模型存储了在大规模预训练过程中获取的大量事实知识。然而，这些知识本质上是静态的，仅反映训练时世界的状态。知识编辑已成为一种在不进行完整重新训练的情况下更新过时或不正确事实的有前景的解决方案。然而，大多数现有的定位与编辑方法主要关注词元级似然优化，而未解决语义连贯性问题。我们的分析表明，此类编辑后的知识通常被编码为模型潜在空间中孤立的残差流，与已有知识相分离，并绕过了自然的推理过程。为解决此问题，我们提出了 \textsc{Steam}，一个语义级知识编辑框架，旨在增强更新知识向模型知识结构的整合。\textsc{Steam} 首先将目标表示识别为更新后事实关联的语义锚点，然后通过优化过程中的对齐损失，引导编辑后事实的内部表示朝向这些锚点。实验结果表明，\textsc{Steam} 提升了模型利用编辑知识进行推理的能力，并增强了语义连贯性，凸显了潜在空间对齐对于实现可靠且连贯的知识编辑的重要性。代码可在 https://github.com/GY-Jeong/STEAM 获取。
引用
@article{arxiv.2510.10398,
title = {STEAM: A Semantic-Level Knowledge Editing Framework for Large Language Models},
author = {Geunyeong Jeong and Juoh Sun and Seonghee Lee and Harksoo Kim},
journal= {arXiv preprint arXiv:2510.10398},
year = {2025}
}
备注
Accepted to EMNLP 2025 (Findings)