模仿游戏：图灵机模仿者是长度可泛化的推理者
计算与语言
2026-01-29 v3
摘要
长度泛化，即解决比训练时观察到的序列更长的问题的能力，是基于 Transformer 的大语言模型(LLM)面临的核心挑战。尽管现有研究主要关注算术运算和符号操作任务的数据驱动方法，但这些方法往往具有任务特异性且整体性能有限。为了寻求更通用的解决方案，本文聚焦于更广泛的可计算推理问题，即算法可以解决的问题，因此图灵机可以解决。基于此视角，本文提出了图灵机模仿学习(TAIL)以提高 LLM 的长度泛化能力。TAIL 通过计算机程序合成模仿图灵机执行过程的思维链(CoT)数据，将推理步骤线性扩展为原子状态以减轻捷径学习，并采用显式内存提取机制以降低基本操作中动态和长程数据访问的难度。为了验证 TAIL 的可靠性和普适性，我们构建了一个具有挑战性的合成数据集，涵盖 8 类算法和 18 个任务。无需额外技巧，TAIL 仅使用合成数据就显著提高了 Qwen2.5-7B 在各种任务上的长度泛化能力和性能，超越了先前的方法和 DeepSeek-R1。实验结果表明，图灵机中的关键概念，而非思维风格，对于 TAIL 实现长度泛化是必不可少的，通过该模型，其注意力层表现出了与图灵机属性一致的读写行为。这项工作为未来从合成数据中学习 LLM 推理的研究提供了一个有前景的方向。
引用
@article{arxiv.2507.13332,
title = {The Imitation Game: Turing Machine Imitator is Length Generalizable Reasoner},
author = {Zhouqi Hua and Wenwei Zhang and Chengqi Lyu and Yuzhe Gu and Songyang Gao and Kuikun Liu and Dahua Lin and Kai Chen},
journal= {arXiv preprint arXiv:2507.13332},
year = {2026}
}