自适应Token偏置器：通过偏置关键实体实现知识编辑
计算与语言
2024-06-19 v1 人工智能
摘要
大型语言模型（LLM）中存储的参数化知识会快速过时。在-context编辑（In-context Editing, ICE）是当前最有效的更新LLM知识的方法。最近的进展涉及通过修改解码策略来增强ICE，从而无需改变内部模型结构或调整外部提示。在本工作中，我们引入了一种名为ADAPTIVE TOKEN BIASER（ATBias）的新型解码技术，以增强ICE。它专注于解码过程中与知识最相关的标记，通过匹配与新知识和参数化知识相关的关键实体来对其logits进行偏置。实验结果表明，ATBias显著提升了ICE性能，在不超过其代价的一半的情况下，相较于最先进的ICE方法实现了最高32.3%的改进。ATBias不仅提升了ICE的知识编辑能力，还可被广泛应用于LLM，且几乎不增加额外成本。
引用
@article{arxiv.2406.12468,
title = {Adaptive Token Biaser: Knowledge Editing via Biasing Key Entities},
author = {Baolong Bi and Shenghua Liu and Yiwei Wang and Lingrui Mei and Hongcheng Gao and Yilong Xu and Xueqi Cheng},
journal= {arXiv preprint arXiv:2406.12468},
year = {2024}
}