谁在大语言模型中进行推理？
计算与语言
2025-05-28 v1 人工智能
摘要
尽管大语言模型（LLM）表现出令人印象深刻的性能，但赋予其新能力（如数学推理）的过程在很大程度上仍然是经验性的且不透明的。一个关键的开放性问题是：推理能力是源于整个模型、特定模块，还是仅仅是过拟合的产物。在本研究中，我们假设训练良好的 LLM 的推理能力主要归因于 Transformer 多头自注意力（MHSA）机制中的输出投影模块（oproj）。为了支持这一假设，我们引入了网络听诊器（Stethoscope for Networks, SfN），这是一套旨在探测和分析 LLM 内部行为的诊断工具。使用 SfN，我们提供了间接和经验证据，表明 oproj 在实现推理方面起核心作用，而其他模块对流畅对话的贡献更大。这些发现为 LLM 的可解释性提供了新视角，并为更有针对性的训练策略开辟了道路，有望实现更高效、更专业的 LLM。
引用
@article{arxiv.2505.20993,
title = {Who Reasons in the Large Language Models?},
author = {Jie Shao and Jianxin Wu},
journal= {arXiv preprint arXiv:2505.20993},
year = {2025}
}