单模型双角色：共享循环变换器中的涌现性专化

在是否可以将共享权重的循环变换器发展出 distinct internal roles 而无需将其划分为单独模块方面，我们进行了研究。在 Asymmetric Input Recurrence（AIR）中，这是一种最小的两状态推理架构，其中相同 Transformer 模型被重复用于更新（按文献，L 和 H），唯一内在的差异仅在于编码输入在 L 更新期间被注入而在 H 更新期间未被注入。通过对 Sudoku-Extreme 和 Maze 的解码滚动结果，我们发现出现了一致的分割：$\zH$ 行为类似于完全确定的提议状态，而 $\zL$ 则保留局部不确定性和不断变化的中间结构。冻结实验表明，这一分割在实践中与模型的状态动力学有关：在 Sudoku 中，冻结 $\zH$ 会减少 $\zL$ 的内容变化，冻结 $\zL$ 则增加 $\zH$ 的内容变化，而在 Maze 中，冻结任一状态都会增加另一状态的内容变化。消融实验表明，要诱导专化，共享模型需要能够区分两种更新类型的不同，无论是通过输入注入的非对称性，还是通过单独的 level token。机制上，注意力分析显示 L 更新在 Sudoku 和 Maze 中都明显更局域。总之，这些结果表明，在两状态循环环境中，清晰的状态身份信号可以诱导共享参数循环变换器内部稳定、相关的功能角色。代码地址为 \href{https://github.com/juchengshen/air}{\textcolor{blue}{https://github.com/juchengshen/air}}。