代谢神经网络
神经与进化计算
2018-09-05 v1 计算机视觉与模式识别
摘要
细胞的代谢是人体功能中最基本和最重要的部分。深度学习中的神经网络源于神经元活动。代谢神经元网络（MetaNet）在模型构建中的意义不言而喻。在本研究中，我们从增殖和自噬两个方面探讨浅层网络的神经元代谢。首先，我们提出不同的神经元增殖方法，在代谢周期中构建自生长网络。增殖神经元缓解了网络初始化参数过多或过少时的资源浪费与模型学习不足问题。然后结合模型自构建过程中的自噬机制以消融表达不足的神经元。MetaNet 能在训练中自动确定神经元数量，进一步节省更多资源消耗。我们在 MNIST、Fashion-MNIST 和 CIFAR-10 数据集上验证了所提方法的性能。
引用
@article{arxiv.1809.00837,
title = {Metabolize Neural Network},
author = {Dan Dai and Zhiwen Yu and Yang Hu and Wenming Cao and Mingnan Luo},
journal= {arXiv preprint arXiv:1809.00837},
year = {2018}
}