序数池化

在卷积神经网络框架下，下采样常通过平均池化（所有激活被同等对待）或最大池化（仅保留激活最大的元素而丢弃其余）完成。这两种操作都具有局限性，且先前已被证明是次优的。为解决该问题，本文引入了一种名为\emph{序数池化}（ordinal pooling）的新型池化方案。序数池化将一个池化区域中的所有元素重排为序列，并根据元素在序列中的次序赋予不同权重。这些权重被用作重排元素的加权和以计算池化操作。它们通过标准的基于梯度的训练学习得到，从而以可微分的方式学习从平均池化到最大池化谱中任意位置的行为。我们的实验表明，网络在单个池化层内执行不同类型的池化操作是有利的，且平均池化与最大池化之间的混合行为通常有益。更重要的是，实验还证明序数池化相较于平均或最大池化能一致地提升准确率，同时加速训练并缓解网络中池化操作与激活函数选择的问题。特别地，序数池化主要有助于轻量或量化的深度学习架构，正如嵌入式应用等典型场景中所考虑的那样。