神经网络激活函数的作用

已有大量激活函数被提出用于神经网络。修正线性单元(Rectified Linear Unit, ReLU)在当今尤为流行。许多实际原因促使了 ReLU 的使用。本文提供了支持在单变量、单隐藏层前馈神经网络中使用 ReLU、其变体（如带泄漏 ReLU）以及其他激活函数的新的理论刻画。我们的结果还解释了神经网络设计与训练中常用策略（如“权重衰减”和“路径范数”正则化）的重要性，并为网络架构中使用“跳跃连接”提供了新的依据。这些新见解通过样条理论得以获得。特别地，我们展示了神经网络训练问题如何与定义在函数 Banach 空间上的无限维优化相关联，其解为众所周知的分数阶与多项式样条，而具体的 Banach 空间（控制样条的阶）取决于激活函数的选择。