PAON：一种使用 Padé 近似的新型神经元模型

卷积神经网络（CNN）构建于经典的 McCulloch-Pitts 神经元模型之上，该模型本质上是一个线性模型，其非线性由单独的激活函数提供。多位研究者提出了增强的神经元模型，包括二次神经元、广义运算神经元、生成神经元和超级神经元，它们具有比逐点激活函数更强的非线性。也有研究提出将 Padé 近似作为广义激活函数。本文中，我们受 Padé 近似启发，引入了一种名为 Pade 神经元（Paons）的全新神经元模型，Padé 近似是将超越函数表示为不同阶数多项式之比的最佳数学近似。我们证明 Paons 是所有其他已提出神经元模型的超集。因此，任何已知 CNN 模型中的基本神经元都可以被 Paons 替换。本文中，我们将著名的 ResNet 扩展为 PadeNet（由 Paons 构建）以演示这一概念。我们在单图像超分辨率任务上的实验表明，PadeNet 能够取得优于竞争架构的结果。