ResNets、NeuralODEs与CT-RNNs是特定的神经调控网络

本文表明，ResNets、NeuralODEs和CT-RNNs是特定的神经调控网络（NRNs），这是一种针对小物种（如秀丽隐杆线虫）和大物种视网膜中遇到的非脉冲神经元的生物物理模型。与ResNets、NeuralODEs和CT-RNNs相比，NRNs在其突触计算中多出一个乘法项，使它们能够适应每个特定输入。这一额外的灵活性使NRNs比NeuralODEs和CT-RNNs简洁 $M$ 倍，其中 $M$ 与训练集大小成正比。此外，由于NeuralODEs和CT-RNNs比ResNets简洁 $N$ 倍，其中 $N$ 是计算给定输入 $x$ 的输出 $F(x)$ 所需的积分步数，NRNs总共比ResNets简洁 $M\cdot N$ 倍。对于一个给定的逼近任务，这种显著的简洁性允许学习一个非常小且因此可理解的NRN，其行为可以用完善的架构基序来解释，NRNs与基因调控网络共享这些基序，例如激活、抑制、序列化、互斥和同步。据我们所知，本文首次以定量方式将深度神经网络的主流工作与生物学和神经科学中的工作统一起来。