基于因果中介分析的语言模型算术推理机制解释
计算与语言
2023-10-23 v2 机器学习
摘要
大型语言模型（LMs）的数学推理近期备受关注，但人们对这些模型如何在其架构中处理与存储算术任务相关信息理解有限。为增进对语言模型此方面的理解，我们提出一种基于因果中介分析框架的Transformer类LM在算术问题上的机制解释。通过对特定模型组件激活进行干预并测量预测概率的相应变化，我们识别出负责特定预测的参量子集。这揭示了LM处理算术相关信息的机制。实验结果表明，LM通过注意力机制将查询相关信息从中段早期层传输至最终词符来处理输入；随后，该信息由一组MLP模块处理，生成与结果相关的信息并融入残差流。为评估所观测激活动力学的特异性，我们将不同模型组件对算术查询的影响与其他任务（包括从提示中检索数字和事实知识问答）进行比较。
引用
@article{arxiv.2305.15054,
title = {A Mechanistic Interpretation of Arithmetic Reasoning in Language Models using Causal Mediation Analysis},
author = {Alessandro Stolfo and Yonatan Belinkov and Mrinmaya Sachan},
journal= {arXiv preprint arXiv:2305.15054},
year = {2023}
}
备注
EMNLP 2023. 18 pages, 19 figures