Speaking 之前先思考：一种主动的测试时扩展方法
计算与语言
2025-08-28 v2
摘要
大型语言模型（LLMs）在复杂推理任务（如数学问题）中常表现不佳，我们认为这源于人类推理模式与LLMs训练数据中呈现的推理模式之间的差异。在处理复杂问题时，人类倾向于在表达解答之前仔细思考，但通常不会阐述其内在思考过程，包括意图和所选方法。因此，对于连接推理步骤至关重要的关键见解可能缺失于收集自人类来源的训练数据中。为弥合这一差距，我们提出在连续的推理步骤之间插入“洞见”（insight），这些洞见审查当前状态并启动下一步推理。与依赖单一或静态提示策略来促进推理的先前方法不同，洞见是“主动”生成的，以引导推理过程。我们将其实现为一种推理框架，称为“Speaking 之前先思考”（Thinking Before You Speak, TBYS），并设计了一个管道，用于自动收集和筛选以生成“洞见”的情境示例，从而减轻人工标注工作和微调开销。在针对具有挑战性数学数据集的实验中验证了TBYS的有效性。项目网站：https://gitee.com/jswrt/TBYS
引用
@article{arxiv.2508.18648,
title = {Thinking Before You Speak: A Proactive Test-time Scaling Approach},
author = {Cong Liu and Wenchang Chai and Hejun Wu and Yan Pan and Pengxu Wei and Liang Lin},
journal= {arXiv preprint arXiv:2508.18648},
year = {2025}
}