PolyGLU：Transformer前馈网络中的状态条件激活路由

生物神经系统利用多种神经递质——谷氨酸、GABA、多巴胺、乙酰胆碱——在共享神经回路中实现不同的信号处理模式。相比之下，现代Transformer在所有前馈神经元上应用单一固定激活函数。我们引入PolyGLU（多色门控线性单元），一种SwiGLU的即插即用替代方案，使每个前馈网络神经元能够通过一种结合学习静态偏好与输入条件门控的可微分机制，在K=4个激活函数之间动态路由，以端到端方式配合Gumbel-Softmax进行训练。我们使用单块NVIDIA A100 GPU在约10B个token上训练PolychromaticLM，一个5.97亿参数的Transformer。我们的关键发现是涌现路由行为：在没有任何显式稀疏性损失或熵正则化的情况下，路由机制收敛至近确定性激活选择（平均动态熵为最大值的0.030%），呈现出显著的深度依赖特化模式——浅层偏好GELU而深层强烈偏好Tanh。有三个层保持较高的路由熵，表明计算灵活性点。路由架构仅增加0.23%的参数开销（约140万参数），并且在监督微调中完全鲁棒：路由熵在整个13,067步SFT中保持为ln(4)。在标准基准上，PolychromaticLM在训练token数少3,600倍的情况下实现了Qwen3-0.6B-Base性能的62-89%。所有代码、权重和训练基础设施均在Apache 2.0许可下发布。