高效且精准的推理：从轨迹中捕捉潜在时间信号
人工智能
2025-10-14 v1
摘要
推理模型通过推理时间扩展来提升问题解决能力，分配更多计算资源通过延长token预算。识别哪些推理轨迹可能成功仍是关键机会：可靠预测生产路径可显著减少浪费的计算并提高整体效率。我们引入潜在轨迹信号 (Latent-Trajectory)，这些信号 characterize 模型内部表示在生成中间推理token期间的演化。通过测量推理开始和结束之间的潜在表示的整体变化、中间步骤积累的变化以及这些变化对最终状态的进步程度，我们显示，这些信号比交叉层度量和基于输出的置信度测度更可靠地预测解答准确性。当用于指导多个采样生成中的答案选择时，潜在轨迹信号使测试时扩展比多数投票更有效和高效，通过减少最高可达70%的token使用，同时保持甚至提升2.6%的准确率。此外，这些预测信号往往在推理轨迹早期就出现，使我们能够提前选择并为最有希望的候选者分配计算资源。我们的发现不仅为推理时间效率提供了实用策略，也为我们如何在潜在空间中表示和区分推理过程提供了更深层的解释性视角。
引用
@article{arxiv.2510.10494,
title = {Tracing the Traces: Latent Temporal Signals for Efficient and Accurate Reasoning},
author = {Martina G. Vilas and Safoora Yousefi and Besmira Nushi and Eric Horvitz and Vidhisha Balachandran},
journal= {arXiv preprint arXiv:2510.10494},
year = {2025}
}