任务特定推理模型中自我验证的几何学
人工智能
2025-05-13 v2 机器学习
摘要
推理模型如何验证自身答案？我们通过在 CountDown 任务上使用 DeepSeek R1 的配方训练模型来研究此问题。我们利用偏好调优导致模式坍缩的事实，这会产生始终生成高度结构化 chain-of-thought 序列的模型。有了这一设置，我们进行自上而下和自下而上的分析，以逆向工程模型如何验证其输出。自上而下，我们发现 Gated Linear Unit (GLU) 权重编码了与验证相关的标记，如 "success" 或 "incorrect"。自下而下，我们发现 "previous-token heads" 在本设置中主要负责自我验证。我们的分析相互交汇：drawing inspiration from inter-layer communication channels，我们使用所识别的 GLU 权重局部化至少三个可以禁用自我验证的注意力头，指向 potentially 更大验证电路的一个必要组件。最后，我们验证了类似的验证组件存在于基座模型和通用推理 DeepSeek-R1 模型中。
引用
@article{arxiv.2504.14379,
title = {The Geometry of Self-Verification in a Task-Specific Reasoning Model},
author = {Andrew Lee and Lihao Sun and Chris Wendler and Fernanda Viégas and Martin Wattenberg},
journal= {arXiv preprint arXiv:2504.14379},
year = {2025}
}