Transformer 是否能够通过连接训练数据中的分离知识进行推理?

人类展现出通过整合来自不同来源的知识进行组合推理的显著能力。例如, 若某人从一个来源学习 ( B = f(A) ), 从另一个来源学习 ( C = g(B) ), 则即使未遇到 ( ABC) 的组合, 也能推导出 ( C = g(B) = g(f(A)) ), 这体现了人类智力的泛化能力。在本文中, 我们引入一个合成学习任务, "FTCT" (Fragmented at Training, Chained at Testing), 以验证 Transformer 在复制此技能方面的潜力并阐释其内在机制。在训练阶段, 数据由来自整体因果图的分离知识碎片组成; 在测试阶段, Transformer 必须通过整合这些碎片推断出完整的因果图轨迹。我们的发现表明, 少量 Chain-of-Thought 提示使 Transformer 能够在 FTCT 上进行组合推理, 通过揭示正确的碎片组合实现此目标, 即使此类组合在训练数据中不存在。此外, 组合推理能力的出现与模型复杂度和训练-测试数据相似性密切相关。我们在理论和实证层面提出, Transformer 从训练中学习到一种通用可生成的程序, 以在测试阶段实现有效的组合推理。