基于图的外部记忆模型编辑
计算与语言
2026-02-03 v2
摘要
大型语言模型（LLM）已在自然语言处理领域取得突破性进展，但因持续存在幻觉和时效性参数知识问题而受限于实际应用。尽管后训练模型编辑提供了动态更新的途径，但现有方法常出现过拟合和灾难性遗忘。为解决这些挑战，我们提出一种新框架，利用双曲空间和图神经网络实现精确稳定的模型编辑。我们引入 HYPE（HYperbolic Parameter Editing），其包含三个关键组件：（i）双曲图构建，该组件使用 Poincaré 嵌入表示知识三元组在双曲空间中，保持层次关系，通过确保对父概念的编辑不会不小心影响子概念，从而防止意外副作用；（ii）莫比乌斯变换更新，该组件应用双曲加法来传播编辑，同时保持双曲流形内的结构一致性，不同于常规欧几里得更新会扭曲关系距离；（iii）双重稳定，该组件结合梯度遮蔽和定期 GNN 参数重置，以通过聚焦关键参数更新和保持长期知识来防止灾难性遗忘。在 GPT-J 和 GPT2-XL 上的 CounterFact、CounterFact+ 和 MQuAKE 实验表明，HYPE 在编辑稳定性、事实准确性和多跳推理方面显著提升。
引用
@article{arxiv.2505.18343,
title = {Model Editing with Graph-Based External Memory},
author = {Yash Kumar Atri and Ahmed Alaa and Thomas Hartvigsen},
journal= {arXiv preprint arXiv:2505.18343},
year = {2026}
}