潜在链式思考提升结构化数据转换器
机器学习
2026-05-20 v2
摘要
链式思考（chain-of-thought, CoT）及其更广泛的测试时计算已被证明能够增强语言模型的表达能力，推动了推理领域的重大创新。受此成功启发，本文探讨潜在链式思考以及深度和循环对时间序列和表格数据影响。我们提出一种循环方案，结构化数据转换器在完成初始前向传�后，将查询位置隐藏状态压缩为反馈标记，然后追加到输入中进行二次处理，允许在预测前进行多轮潜在计算。我们将CoT模型与相同深度无CoT基线、深度基线（与CoT模型等效深度）以及权重绑定循环但无额外链式思考标记的循环转换器进行比较。跨36个时间序列预测和表格预测数据集，潜在链式思考在7/9个时间序列数据集上优于基线（平均提升12.63%），在23/27个表格数据集上优于基线（平均提升3.25%），CoT模型在两类任务中平均表现最佳。我们还展示了链式思考的优势同样适用于预训练基础模型：将潜在CoT应用于nanoTabPFN（一个小型开源表格基础模型），其性能已超过更大尺度的TabPFN-v2在TabArena上的表现。综上，这些结果表明链式思考是扩充结构化数据测试时计算的一个有用维度。
引用
@article{arxiv.2605.11262,
title = {Latent Chain-of-Thought Improves Structured-Data Transformers},
author = {Carson Dudley and Samet Oymak},
journal= {arXiv preprint arXiv:2605.11262},
year = {2026}
}