从微分方程视角看循环神经网络
机器学习
2019-05-01 v1 量子物理
机器学习
摘要
为了理解循环神经网络（RNNs）在训练稳定性、时间动态性与架构复杂性之间的基本权衡，我们直接使用常微分方程（ODEs）的数值方法分析 RNN 架构。通过将 RNN 的组合规则与离散时间步上 ODE 的积分方法相关联，我们定义了一类通用的 RNN 家族——ODERNNs。我们表明，RNN 的函数非线性度 与其时间记忆范围 可映射到对应的 Runge-Kutta 递归阶数与 ODE 的时间导数阶数。我们证明，诸如 LSTM 与 URNN 等流行的 RNN 架构可归入不同阶的 --ODERNNs。这种 RNN 与 ODE 之间的精确对应关系有助于我们建立 RNN 训练稳定性的充分条件，并便于利用 ODE 数值积分的多种工具箱更灵活地自上而下设计新的 RNN 架构。我们给出了这样一个例子：量子启发的通用计算神经网络（QUNN），它将所需训练参数数量从关于数据长度与时间记忆长度的多项式降至仅关于时间记忆长度的线性。
引用
@article{arxiv.1904.12933,
title = {Recurrent Neural Networks in the Eye of Differential Equations},
author = {Murphy Yuezhen Niu and Lior Horesh and Isaac Chuang},
journal= {arXiv preprint arXiv:1904.12933},
year = {2019}
}
备注
25pages, 3 figures