解读变换器中的上下文查找：探讨注意力-MLP的相互作用
计算与语言
2024-10-24 v2 人工智能
机器学习
摘要
理解大型语言模型(LLM)的内部工作原理对于推进其理论基础和实际应用至关重要。虽然注意力机制和多层感知器(MLP)各自都被研究过，但它们的相互作用仍鲜有探索。本研究探讨注意力头和下一个标记神经元在LLM中如何相互作用以预测新单词。我们提出一种方法，识别下一个标记神经元，找到能够高度激活它们的提示，并确定负责的上游注意力头。随后，我们自动生成和评估这些注意力头活动的解释。我们的发现表明，一些注意力头识别与预测标记相关的特定上下文，并相应地激活下游的标记预测神经元。这种机制提供了更深入的理解，说明注意力头如何与MLP神经元协同工作以进行下一个标记预测。我们的ethods为进一步研究LLM的复杂工作方式及其对文本生成和理解的影响提供了基础。
引用
@article{arxiv.2402.15055,
title = {Interpreting Context Look-ups in Transformers: Investigating Attention-MLP Interactions},
author = {Clement Neo and Shay B. Cohen and Fazl Barez},
journal= {arXiv preprint arXiv:2402.15055},
year = {2024}
}
备注
Accepted to EMNLP 2024 Main Conference