一种基础循环神经网络模型
神经与进化计算
2016-12-30 v1 机器学习
摘要
我们提出了一种基础循环神经网络（或 bRNN）模型，该模型包含一个带有略微“稳定”固定矩阵的独立线性项，以保证解的有界性和快速的动态响应。我们构建了状态空间视角，并采用约束优化拉格朗日乘子 (CLM) 技术和矢量变分法 来推导（随机）梯度下降。在此过程中，避免了常用的循环链式法则的重复应用，并将误差反向传播等同于共态后向动力学方程。我们断言该 bRNN 能够成功执行时间序列的回归跟踪。此外，“消失和爆炸”梯度通过共态动力学和更新定律得到了明确的量化与解释。此外，所采用的 CoV 框架能够正确且有原则地将针对任意变量和不同目标的新损失函数整合到网络中，例如，对输出进行监督学习，对内部（隐藏）状态进行无监督学习。
引用
@article{arxiv.1612.09022,
title = {A Basic Recurrent Neural Network Model},
author = {Fathi M. Salem},
journal= {arXiv preprint arXiv:1612.09022},
year = {2016}
}
备注
8 pages