读出捷径:位置数复制主导小型语言模型中的算术链思推理读出
机器学习
2026-05-25 v1 人工智能
计算与语言
摘要
链式思维(Chain-of-thought, CoT)提示是小型语言模型进行算术计算的必要条件,但对其步骤进行随机排列后仍能保留大部分性能。若非逻辑序列,CoT 究竟贡献了什么?本文在三款 1-3B 参数的指令微调语言模型上测试 GSM8K 数据集,通过前缀完成技术隔离答案读出阶段,发现存在一种位置捷径:模型无论中间推理如何,都会复制答案分隔符前 trailing 位置的数字。金标准答案的存在导致准确率提升 54-92 个百分点(占该模型教学强制上限的 89-92%),即便在错误样本上,最终答案与最后一个 CoT 数字的匹配率也高达 95-96%。复制通道优先于保留上下文完成:将 trailing 数字替换为错误值会使准确率几乎归零,尽管中间推理正确;但若移除该数字,准确率可回升 5-32 个百分点——即便是模型本可以单步完成的算术计算,在可复制数字存在时也会被抑制。Qwen 和 Llama 在复制新型干扰项时占比 87-95%;Gemma 则采用选择性门控机制。Head 级别的消融实验指向特定于模型的注意力头集合;该效应在 GSM-Symbolic 数据集上也能复制。在非算术 BBH 任务上,随机排列后的保留率会急剧下降;在 7-8B 参数规模时,出现内容选择性门控。步骤级别的忠诚度评估风险会将位置答案传递混淆为真实计算——这是一种针对 CoT 基于监督方法的失效模式。
引用
@article{arxiv.2605.22870,
title = {The Readout Shortcut: Positional Number Copying Dominates Arithmetic CoT Readout in Small Language Models},
author = {Ming Liu},
journal= {arXiv preprint arXiv:2605.22870},
year = {2026}
}
备注
18 pages (8 main + 10 appendix), 3 figures, 5 tables