递归神经网络与循环神经网络综述

本文根据网络结构、训练目标函数和学习算法实现，对递归神经网络和循环神经网络的分支进行详细分类。其大致分为三类：第一类是通用递归神经网络和循环神经网络，包括基本递归神经网络和循环神经网络、长短期记忆递归神经网络和循环神经网络、卷积递归神经网络和循环神经网络、微分递归神经网络和循环神经网络、单层递归神经网络和循环神经网络、高阶递归神经网络和循环神经网络、高速公路网络、多维递归神经网络和循环神经网络、双向递归神经网络和循环神经网络；第二类是结构化递归神经网络和循环神经网络，包括网格递归神经网络和循环神经网络、图递归神经网络和循环神经网络、时间递归神经网络和循环神经网络、晶格递归神经网络和循环神经网络、层次递归神经网络和循环神经网络、树递归神经网络和循环神经网络；第三类是其他递归神经网络和循环神经网络，包括数组长短期记忆、嵌套和堆叠递归神经网络和循环神经网络、记忆递归神经网络和循环神经网络。各种网络相互交叉，甚至相互依赖，形成复杂的网络关系。在各种网络的发展和收敛背景下，解决了许多复杂的序列、语音和图像问题。 After 对上述模型和模型变形的原理和结构进行详细描述后，分别描述了每个模型的研究进展和应用，最后对递归神经网络和循环神经网络模型进行展望和总结。