高效神经网络模型的 Pade 神经元

神经网络通常采用麦克鲁尔-皮茨斯神经元模型，该模型是线性模型后接点-wise 非线性激活函数。已有研究者提出了各种内在非线性神经元模型，如二次神经元、广义运算神经元、生成神经元和超神经元，这些模型相较于点-wise 激活函数具有更强的非线性。本文引入一种新型且更优的非线性神经元模型，称为 Pade 神经元（Paons），灵感来自 Pade 近似。Paons 具有以下优势：非线性多样性，因为每个 Paon learns its own non-linear function；层级效率，因为 Paons 在远少于分段线性近似所需的层数上即可实现更强的非线性。此外，Paons 包含所有先前提出的神经元模型作为特殊情况，因此可以替换任意网络中的经典神经元。我们指出，已有工作提出将 Pade 近似作为广义点-wise 激活函数，这与本模型在本质上存在差异。为验证 Paons 的有效性，我们在一些基于 ResNet 架构的著名神经图像超分辨率、压缩和分类模型中替换经典神经元。我们的全面实验结果和分析表明，由 Paons 构建的神经模型在更少的层数下，性能优于或等于其经典对应模型。Paon 的 PyTorch 实现代码已开源发布于 https://github.com/onur-keles/Paon。