特征相似性：面向类比推理的 Transformer 理论理解

理解大型语言模型中的推理过程面临评估混合多种推理类型的挑战。我们孤立类比推理——即模型在共享已知属性的实体之间传递属性——并研究何时能从训练中涌现。为使问题可分析，本文构建最小化的 Transformer 风格抽象，孤立学习表示如何支持类比推理。在此设定下，我们证明了三个关键结果：首先，联合训练相似性与归因前提可通过对齐表示实现类比推理；其次，顺序训练仅在相似性结构先于特定属性学习时才成功，揭示课程不对称；再者，在本 stylized 设定中，两跳推理 $(a \to b, b \to c \Rightarrow a \to c)$ 可视为以同一桥 $(b=b)$ 的类比推理，其在训练数据中显式出现。综上，这些结果揭示了统一机制：共享属性的实体在表示空间中对齐，从而通过特征相似性实现属性传递。实验中，参数规模达80亿的模型架构与理论定性一致，表明表示几何在类比推理中发挥重要作用。