没有通用神经元：基于任务的神经元人工神经网络

从生物学角度看，大脑并不依赖一种在所有方面都通用的单一神经元类型，而是作为任务基神经元的高级设计者。在本研究中，我们回答了一个问题：自从人类大脑是任务基神经元使用者后，人工网络设计能否从任务基架构设计走向任务基神经元设计？由于从方法上讲不存在通用的神经元，给定相同的结构，任务基神经元因对任务的内在归纳偏置而相对于现有的通用神经元具有更强的特征表示能力。具体而言，我们提出了一个原型化任务基神经元的两步框架。第一步使用符号回归识别拟合输入数据的最优公式，利用诸如对数、三角和指数函数等基本函数；我们引入向量化符号回归，将所有变量堆叠为向量并对每个输入变量执行相同的计算，从而加快回归速度、促进并行计算并避免过拟合。第二步，我们对获取的初等公式进行参数化，使参数可学习，作为神经元的聚合函数。由于已证明有效，激活函数如 ReLU 和 sigmoidal 函数保持不变。经验上，通过在合成数据、经典基准测试和真实应用上的实验结果表明，所提出的任务基神经元设计不仅是可行的，而且在其他最先进模型中也能实现具竞争力的性能。