用于编辑 LLM 事实知识的说服标记
计算与语言
2026-01-27 v2 机器学习
摘要
通过注意力编辑（IKE）是更新大语言模型（LLM）的新信息的有前景的技术。然而，IKE 依赖于冗长的、事实相关的演示，创建成本高昂且消耗大量上下文窗口空间。本文引入说服标记（P-Tokens）——训练好的特殊标记，能够复制 IKE 演示的效果，在不要求事实相关演示的情况下实现高效知识编辑。我们在两个编辑数据集和三个 LLM 上评估了 P-Tokens，表明其性能与 IKE 相当，且常常超过 IKE。我们进一步发现，编辑性能对干扰项具有鲁棒性，仅对相邻事实产生小的负面影响，且增加 P-Tokens 的数量会提高性能。我们的工作解决了 IKE 的关键局限性，为编辑 LLM 提供了更实用且可扩展的替代方案。
引用
@article{arxiv.2601.16781,
title = {Persuasion Tokens for Editing Factual Knowledge in LLMs},
author = {Paul Youssef and Christin Seifert and Jörg Schlötterer},
journal= {arXiv preprint arXiv:2601.16781},
year = {2026}
}
备注
Accepted at EACL Main 2026