Transformer 中层次化推理的构成性专化机制

Transformer 在训练期间未观察到的序列上表现出构成性推理能力，这一能力常被归因于原地学习（in-context learning, ICL）和技能组合。我们采用随机层级模型（Random Hierarchy Model, RHM）——一种通过递归规则应用生成序列的概率上下文无关语法——来探讨这一现象。模型在训练子集序列后，在四种泛化情境下进行评估：记忆、分布内泛化、分布外泛化（相同规则）以及跨层迁移。行为上，随着任务复杂度增加和原地示例数量增加，性能系统性提升；分布外任务需要远多于分布内情境的示例。机制上，我们识别出训练期间层次专化逐渐出现的现象，这与泛化性能相关。主成分分析和注意力模式聚类揭示，Transformer 在专化层中发展出结构化、层次化组织的表示。这些结果表明，Transformer 具备支持构成性推理的模块化、可解释机制，将内部算法结构与观察到的行为能力联系起来。