深度学习的起源

本文是对深度学习模型演化历史的综述。它涵盖了从研究大脑的联想主义建模时神经网络的诞生，到主导过去十年深度学习研究的模型，如卷积神经网络、深度信念网络和循环神经网络。除了对这些模型的回顾，本文主要关注上述模型的先例，考察最初的想法是如何组装构建早期模型，以及这些初步模型如何发展成现在的形式。这些演化路径中有许多持续了超过半个世纪，并具有多样化的方向。例如，CNN 建立在生物视觉系统的先验知识之上；DBN 从图模型的建模能力与计算复杂度之间的权衡中演化而来；而当今的许多模型是古老线性模型的神经对应物。本文回顾了这些演化路径，并提供了这些模型如何发展的简明思想脉络，旨在为深度学习提供全面的背景。更重要的是，沿着这条路径，本文总结了这些里程碑背后的精髓，并提出了许多指导未来深度学习研究的方向。