用于深度前馈和循环神经网络的习得范数池化

本文提出并研究了一种用于深度神经网络的 novel 非线性单元，称为 $L_p$ 单元。所提出的 $L_p$ 单元接收来自下一层单元子集的多个投影的信号，并计算归一化的 $L_p$ 范数。我们注意到 $L_p$ 单元的两个有趣解释。首先，所提出的单元可以理解为多种传统池化算子（如平均池化、均方根池化和最大池化）的推广，这些算子广泛用于卷积神经网络 (CNN)、HMAX 模型和新认知机中。此外，$L_p$ 单元在一定程度上类似于最近提出的 maxout 单元 (Goodfellow et al., 2013)，后者在多个基准数据集上实现了最先进的物体识别结果。其次，我们提供了基于激活函数的几何解释，据此我们认为 $L_p$ 单元在表示复杂的非线性分离边界方面更为高效。每个 $L_p$ 单元定义了一个超椭圆边界，其确切形状由阶数 $p$ 定义。我们声称，通过组合几个不同阶数的 $L_p$ 单元，可以更有效地建模任意形状的弯曲边界。这一见解证明了为模型中每个单元学习不同阶数的必要性。我们在多个数据集上对提出的 $L_p$ 单元进行了实证评估，结果表明由 $L_p$ 单元组成的多层感知机 (MLP) 在多个基准数据集上达到了最先进的结果。此外，我们在最近提出的深度循环神经网络 (RNN) 上评估了所提出的 $L_p$ 单元。