深层网络中的竞争性非线性、临界性与秩序-混沌转变

深度神经网络的表现力源于非线性激活函数。信号在初始化时的有效场理论揭示了几类不同普适性类的激活函数，具有不同的深度尺度扩展。跨越这些类别，尤其是以分析控制方式进行调谐，仍是开放问题。我们表明，一种统计混合激活函数——其中每个神经元独立且随机地从具有混合比例 $p$ 的两组分布中抽取激活函数——提供了一种实现连续相变的新机制。应用于 Tanh 与 Swish 的混合函数时，转变在预激活方差的深度尺度扩展上呈现尖锐分界，将方差坍缩相与方差扩张相分离；在 $p_c$ 处，网络获得统计尺度不变性，深度无关的方差，同时不牺牲光滑性。这解决了长期悬而未决的矛盾——尺度不变传播此前需要非光滑的 ReLU 系列，从而使此类网络不适用于基于曲率的优化器、物理感知架构以及神经网络量子态。我们通过方差传播、平行与垂直易位性以及 Lyapunov 指数来验证该相变。在真实数据集上训练多层感知机后发现，测试性能随 $p$ 的变化呈非单调形式，在理论预测的 $p_c$ 附近存在最优值，表明初始化层面的相变对学习到的表征具有直接影响。准置激活无序作为结构正则化器，抑制了被破坏标签的记忆，同时保持了泛化能力。我们的框架确立了统计激活混合物作为探索深层网络普适性类别相图的受控工具。