从推理到答案：对蒸馏 DeepSeek R1 模型进行经验、注意力与机制性分析
人工智能
2025-09-30 v1 计算与语言
摘要
大型推理模型（LRM）在最终答案生成时会生成显式的推理轨迹，但这些推理轨迹对答案生成的影响程度尚不明确。本文通过三阶段研究，深入探讨推理与答案生成之间的相互作用，针对三个蒸馏版 DeepSeek R1 模型进行分析。 首先，通过经验评估，我们展示在 diverse 领域中包含显式推理可显著提升答案质量。其次，注意力分析揭示答案 token 对推理 token 有显著关注，某些中层推理聚焦头（RFH）能够紧密跟踪推理轨迹，包括自我反思线索。最后，我们应用激活掩码进行机制干预，评估答案 token 对推理激活的依赖性。我们的结果表明，对关键推理 token 进行扰动可可靠地改变最终答案，证明了从推理到答案的信息流具有方向性和功能性。这些发现深化了我们对 LRM 如何利用推理 token 生成答案的理解，突显了中间推理在塑造模型输出中的功能性作用。我们的数据和代码已公开于 \href{https://aka.ms/R2A-code}{此 URL}。
关键词
引用
@article{arxiv.2509.23676,
title = {From Reasoning to Answer: Empirical, Attention-Based and Mechanistic Insights into Distilled DeepSeek R1 Models},
author = {Jue Zhang and Qingwei Lin and Saravan Rajmohan and Dongmei Zhang},
journal= {arXiv preprint arXiv:2509.23676},
year = {2025}
}
备注
Accepted by EMNLP'25 (Main)