生物学上合理的深度学习——但浅层网络能走多远?
神经与进化计算
2019-07-16 v2 机器学习
机器学习
摘要
从生物学角度看,使用误差反向传播算法训练深度神经网络被认为是不合理的。近期大量出版物提出了用于生物学上合理的深度学习变体的精细模型,通常将成功定义为在MNIST数据集上达到约98%的测试准确率。在此,我们研究在具有一个隐藏层和一个读出层的网络中,使用生物学上合理的局部学习规则,在数字(MNIST)和物体(CIFAR10)分类上能走多远。隐藏层权重要么是固定的(随机或随机Gabor滤波器),要么用可由局部学习规则实现的无监督方法(PCA、ICA或稀疏编码)训练。读出层用有监督的局部学习规则训练。我们首先用速率神经元实现这些模型。该比较首先揭示,对于大型隐藏层,无监督学习并不比固定随机投影或Gabor滤波器带来更好的性能。其次,具有局部感受野的网络显著优于全连接网络,并能在MNIST上达到反向传播的性能。然后,我们用脉冲漏积分发放神经元和脉冲时序依赖可塑性训练读出层,实现了其中两个网络——隐藏层为固定的、局部的、随机及随机Gabor滤波器。这些脉冲模型在MNIST上达到>98.2%的测试准确率,接近用反向传播训练的单隐藏层速率网络的性能。我们的浅层网络模型的性能可与大多数当前生物学上合理的深度学习模型相媲美。此外,我们的浅层脉冲网络结果为重要参考,并建议在未来生物学上合理的深度学习模型性能测试中使用MNIST以外的数据集。
引用
@article{arxiv.1905.04101,
title = {Biologically plausible deep learning -- but how far can we go with shallow networks?},
author = {Bernd Illing and Wulfram Gerstner and Johanni Brea},
journal= {arXiv preprint arXiv:1905.04101},
year = {2019}
}
备注
14 pages, 4 figures