识别大型语言模型中与查询相关的神经元以处理长文本
计算与语言
2026-05-08 v4
摘要
大型语言模型 (LLM) 在其参数中拥有大量知识，这促使人们研究定位和编辑这些知识的方法。先前的工作主要集中在定位较小模型中与实体相关（通常是单 token）的事实。然而，仍有几个关键问题未得到解答：(1) 如何有效地定位仅解码器 LLM（如 Llama 和 Mistral）中与查询相关的神经元？(2) 如何应对长文本（或自由形式）文本生成的挑战？(3) LLM 中是否存在局部化的知识区域？在本研究中，我们引入了查询相关神经元簇归因 (QRNCA)，这是一种新颖的、与架构无关的框架，能够识别 LLM 中与查询相关的神经元。QRNCA 通过采用多项选择问答的代理任务，允许检查超出三元组事实的长形式答案。为了评估我们检测到的神经元的有效性，我们构建了两个涵盖不同领域和语言的多项选择问答数据集。实证评估表明，我们的方法显著优于基线方法。此外，对神经元分布的分析揭示了可见的局部区域的存在，特别是在不同领域内。最后，我们展示了检测到的神经元在知识编辑和基于神经元的预测中的潜在应用。
引用
@article{arxiv.2406.10868,
title = {Identifying Query-Relevant Neurons in Large Language Models for Long-Form Texts},
author = {Lihu Chen and Adam Dejl and Francesca Toni},
journal= {arXiv preprint arXiv:2406.10868},
year = {2026}
}
备注
AAAI 2025 Main Track