大语言模型知识召回的功能抽象化
计算与语言
2025-04-22 v1
摘要
预训练的转换器大型语言模型（LLM）显示出强大的知识召回能力。本文通过抽象化功能结构来探讨 LLM 中的知识召回机制。我们提出，在知识召回期间，模型的隐藏激活空间隐式包含一种函数执行过程，其中特定激活向量与功能组件（输入参数、函数主体和返回值）对齐。具体而言，与关系相关 token 的激活向量定义了从主体到客体的映射函数，与主体相关的 token 激活作为输入参数，而与客体相关的 token 激活则作为返回值。为进行实验验证，我们首先设计一种基于补丁的知识评分算法，以识别作为独立功能组件的知识感知激活向量。随后，我们进行对抗知识测试，以检验每个组件对知识召回结果的独立功能影响。从功能角度看，我们改进了以激活补丁为增强的上下文知识编辑方法。通过重写上下文中的不一致激活，我们实现了对新知识提示的短期记忆保持能力的提升。
引用
@article{arxiv.2504.14496,
title = {Functional Abstraction of Knowledge Recall in Large Language Models},
author = {Zijian Wang and Chang Xu},
journal= {arXiv preprint arXiv:2504.14496},
year = {2025}
}