论大型语言模型中的关系特异性神经元

在大型语言模型 (LLM) 中，某些 \emph{神经元} 可以存储预训练期间学到的不同知识片段。虽然事实知识通常表现为 \emph{关系} 和 \emph{实体} 的组合，但目前尚不清楚是否有某些神经元专注于关系本身——独立于任何实体。我们假设此类神经元在输入文本中 \emph{检测} 关系，并 \emph{引导} 涉及此类关系的生成。为了研究这一点，我们使用基于 \textit{统计} 的方法在选定的一组关系上研究了 LLama-2 系列。我们的实验证明了关系特异性神经元的存在。我们测量了选择性地停用特定于关系 $r$ 的候选神经元对 LLM 处理 (1) 涉及关系 $r$ 的事实和 (2) 涉及不同关系 $r' \neq r$ 的事实的能力的影响。关于其编码关系信息的能力，我们给出了关系特异性神经元以下三个性质的证据。\textbf{(i) 神经元累积性。} 多个神经元共同参与处理涉及关系 $r$ 的事实，没有单个神经元能单独完整编码 $r$ 中的事实。\textbf{(ii) 神经元通用性。} 神经元可以在多个密切相关以及不太相关的关系之间共享。此外，一些关系神经元可以跨语言迁移。\textbf{(iii) 神经元干扰。} 停用特定于某一关系的神经元可以提高 LLM 对其他关系事实的事实回忆性能。我们在 https://github.com/cisnlp/relation-specific-neurons 上公开了我们的代码和数据。