生物启发深度学习算法与架构的可扩展性评估
机器学习
2018-11-21 v2 人工智能
神经与进化计算
机器学习
摘要
误差反向传播算法（BP）不可能在真实大脑中实现。然而，深度网络在机器学习和人工智能中的近期成功，启发了关于大脑如何跨多层学习、从而如何近似 BP 的诸多提议。迄今为止，这些提议尚未在 BP 引导的深度学习已被证明至关重要的任务上，或在比简单全连接网络更具结构性的架构上得到严格评估。在此，我们展示了在需要具有适当架构的深度网络才能取得良好性能的数据集上，扩展生物启发的深度学习模型的结果。我们给出了在 MNIST、CIFAR-10 和 ImageNet 数据集上的结果，并探索了目标传播（TP）和反馈对齐（FA）算法的变体，以及全连接和局部连接架构中的性能。我们还引入了无权重传输的差分目标传播（DTP）变体，经修改以去除倒数第二层的反向传播。这些算法中的许多在 MNIST 上表现良好，但对于 CIFAR 和 ImageNet，我们发现 TP 和 FA 变体表现明显劣于 BP，尤其在由局部连接单元组成的网络中，这引发了是否需要新架构和算法来扩展这些方法的问题。我们的结果和实现细节有助于为今后的生物启发深度学习方案建立基线。
引用
@article{arxiv.1807.04587,
title = {Assessing the Scalability of Biologically-Motivated Deep Learning Algorithms and Architectures},
author = {Sergey Bartunov and Adam Santoro and Blake A. Richards and Luke Marris and Geoffrey E. Hinton and Timothy Lillicrap},
journal= {arXiv preprint arXiv:1807.04587},
year = {2018}
}
备注
NIPS 2018. Version 2 contains more experimental data including best hyperparameters found