状态流变换器（State Stream Transformer, SST）：通过潜在状态持久化显现元认知行为

我们提出了一种新型大语言模型架构——状态流变换器（State Stream Transformer, SST），该架构通过解决传统变换器模型在状态空间中缺乏跨自回归生成的潜在计算连续性这一根本性限制，揭示了预训练权重中潜在的推理行为与能力。SST 引入了一个带加权衰减的滑动窗口潜在状态（FFN）缓存，用于在自回归生成过程中维持和演化持续的潜在过程。通过使用相同冻结权重进行的对比实验，我们展示了这种架构修改alone 即可实现增强的推理能力，这些能力的最佳解释方式似乎是某种形式的潜在更高阶处理，作为证据，SST 展现出显现的元认知行为。这些行为在旨在消除随机变异或已学习响应模式等混淆因素的受控条件下得以持久存在。对潜在状态分布和处理动态的分析提供了证据，表明仅“状态流”是这些现象的唯一责任方。 在定量评估中，SST 在两个推理基准测试中实现了显著的性能提升，在 GSM-8K（0-shot）上达到 89.01% 的准确率，在 ARC Challenge（0-shot CoT）上达到 91.04%。这些发现表明，潜在状态空间中的持久计算 enables fundamentally different information processing and internal reasoning strategies，对我们对人工智能系统的理解具有深远的意义。