StruEdit：结构化输出使大型语言模型的知识编辑快速且准确
计算与语言
2024-09-17 v1 人工智能
摘要
作为问答的首选现代工具，大型语言模型（LLM）被期望提供具有最新知识的答案。为了实现这种理想的问答系统，在自然语言输出中定位并编辑过时知识是流行的知识编辑方法的普遍目标。然而，这一目标具有挑战性，因为识别在推理步骤中编辑哪些 token 以及确保修改后的推理链的连贯性都是困难的任务。我们认为这些挑战源于自然语言输出的非结构化性质。为了应对上述挑战，我们提出了结构化编辑（），一种改进的知识编辑基线。我们首先提示 LLM 生成由推理三元组组成的结构化输出。然后，StruEdit 移除任何潜在过时的知识，并在单步中用最新信息高效地填充结构化输出。实验结果表明，与其他知识编辑方法相比，StruEdit 始终以最低的延迟提供最高的准确率。
引用
@article{arxiv.2409.10132,
title = {StruEdit: Structured Outputs Enable the Fast and Accurate Knowledge Editing for Large Language Models},
author = {Baolong Bi and Shenghua Liu and Yiwei Wang and Lingrui Mei and Hongcheng Gao and Junfeng Fang and Xueqi Cheng},
journal= {arXiv preprint arXiv:2409.10132},
year = {2024}
}