通过对比知识解码：增强 LLM 对编辑后事实的把握
计算与语言
2024-05-22 v2
摘要
大型语言模型（LLM）中的知识可能很快变得过时。虽然基于情境的编辑（in-context editing, ICE）是当前最有效的知识编辑（knowledge editing, KE）方法，但其受限于对 LLM 黑箱建模，缺乏可解释性。我们的工作旨在阐明 ICE 在 KE 中优异性能的原因，通过分析新知识对标记分布的影响。我们观察到，尽管新知识的logit显著提升，但性能仍受顽固知识的制约。顽固知识指的是在预训练期间获得过度置信度的事实，难以进行有效编辑。为解决此问题并进一步提升 ICE 的性能，我们提出了一种新方法，称为解码对比知识（DeCK, Decoding by Contrasting Knowledge）。DeCK 通过对比ICE引导下新编辑知识得到的下一个标记分布与未编辑参数化知识得到的分布来推导下一个标记的分布。我们的实验一致显示，DeCK显著增强了 LLM 对编辑后事实的把握程度。例如，它将LLaMA3-8B-instruct在MQuAKE基准上的性能提升了最高可达219%，证明了其强化ICE处理顽固知识的能力。我们的工作为开发既有效又可解释的KE方法指明了道路。（源码已公开：https://deck-llm.meirtz.com）
引用
@article{arxiv.2405.11613,
title = {Decoding by Contrasting Knowledge: Enhancing LLMs' Confidence on Edited Facts},
author = {Baolong Bi and Shenghua Liu and Lingrui Mei and Yiwei Wang and Pengliang Ji and Xueqi Cheng},
journal= {arXiv preprint arXiv:2405.11613},
year = {2024}
}