IC神经元:一种构建神经网络的高效单元
机器学习
2020-11-24 v1
摘要
作为一种流行的机器学习方法,神经网络可用于解决许多复杂任务。其强大的泛化能力源自基础神经元模型的表示能力。最流行的神经元是MP神经元,它依次使用线性变换与非线性激活函数处理输入。受物理学中弹性碰撞模型启发,我们提出一种可表示更复杂分布的新神经元模型,称之为层间碰撞(IC)神经元。IC神经元将输入空间划分为多个子空间以表示不同线性变换。该操作增强了非线性表示能力,并强调了给定任务中的一些有用输入特征。我们通过将IC神经元集成到全连接(FC)、卷积和循环结构中构建IC网络。在广泛实验中,IC网络优于传统网络。我们相信IC神经元可作为构建网络结构的基本单元。
引用
@article{arxiv.2011.11271,
title = {IC Neuron: An Efficient Unit to Construct Neural Networks},
author = {Junyi An and Fengshan Liu and Jian Zhao and Furao Shen},
journal= {arXiv preprint arXiv:2011.11271},
year = {2020}
}
备注
10 pages, 6 figures