双流变换器：可解释语言建模的通道化架构

标准变换器将所有计算在单个残差流中耦合，难以辨识各组件功能。我们提出双流变换器（Dual-Stream Transformer），将残差流分解为两个功能上distinct的组成部分：由注意力机制更新的 token 流与由前馈网络更新的 context 流。注意力头之间的信息流通过层级化混合策略控制，范围从完全独立（最大可解释性）到密集（标准变换器行为），形成可调节的可解释性与性能之间的权衡。在2900万参数规模下，我们在语言建模任务中衡量该权衡。完全独立的头混合方式相较于密集基线在验证损失上增加8%。推荐的Kronecker混合策略——允许头间标量通信同时保留单头内部结构——仅增加2.5%的损失。所有配置在注意力放大（推理时将logit放大至16倍）下均能维持功能生成，性能下降范围为16%-27%。这种鲁棒性表明该架构学习的是与软概率混合无关的离散算法。该架构为可解释语言模型提供了基础，使其内部结构可被设计性地暴露。