弥合残差学习、循环神经网络与视觉皮层之间的差距
机器学习
2021-01-05 v2 神经与进化计算
摘要
我们讨论了残差网络（ResNet）、循环神经网络（RNNs）与灵长类视觉皮层之间的关系。我们从一个观察开始：一种特殊类型的浅层 RNN 完全等价于一个在各层间共享权重的极深 ResNet。此类 RNN 的直接实现尽管参数少几个数量级，却能达到与相应 ResNet 相似的性能。我们提出 1) 对 RNN 和 ResNet 架构的泛化，以及 2) 一个猜想：一类中等深度的 RNN 是视觉皮层腹侧流的一个生物学上合理的模型。我们通过在 CIFAR-10 和 ImageNet 数据集上测试这些架构来展示其有效性。
引用
@article{arxiv.1604.03640,
title = {Bridging the Gaps Between Residual Learning, Recurrent Neural Networks and Visual Cortex},
author = {Qianli Liao and Tomaso Poggio},
journal= {arXiv preprint arXiv:1604.03640},
year = {2021}
}
备注
This version was written in Sept. 2016. For April 2016 version see v1 below