有理神经网络具有表达优势

我们研究具有可训练低阶有理激活函数的神经网络，证明它们在表达性和参数效率方面优于现代分段线性和光滑激活函数，如 ELU、LeakyReLU、LogSigmoid、PReLU、ReLU、SELU、CELU、Sigmoid、SiLU、Mish、Softplus、Tanh、Softmin、Softmax 和 LogSoftmax。对于误差目标 $\varepsilon>0$，我们建立了逼近论的分离：任何由标准固定激活函数构建的网络，都可以通过仅 $\mathrm{poly}(\log\log(1/\varepsilon))$ 规模开销的有理激活网络在紧凑域上均匀逼近；而反向情况下，则在最坏情况下需要 $\Omega(\log(1/\varepsilon))$ 参数。这一指数级差距在完整网络层面也持续存在，并扩展到带门控激活和 transformer 风格非线性。在实际中，有理激活无缝集成到标准架构和训练管道中，允许有理激活在相同架构和优化器下匹配或超越固定激活。