基于ReLU的循环神经网络从离散时间到连续时间的转换
动力系统
2020-07-02 v1
摘要
机器学习中使用的循环神经网络(RNN)通常以离散时间表述，即作为递归映射。这为在数据上训练模型带来诸多优势，例如用于时间序列预测或动力系统辨识，因为离散时间系统存在强大高效的推断算法且无需微分方程的数值积分。另一方面，若将从数据推断的动力系统以连续时间表述，即作为常(或偏)微分方程(ODE)系统，其数学分析往往更便利并能提供额外洞见。此处我们展示如何对一类特定的基于ReLU的RNN执行从离散到连续时间的此类转换。我们证明了在多种条件下离散与连续时间表述数学等价性的三个定理，并阐释如何在不同的机器学习与非线性动力系统实例上运用我们的数学结果。
引用
@article{arxiv.2007.00321,
title = {Transformation of ReLU-based recurrent neural networks from discrete-time to continuous-time},
author = {Zahra Monfared and Daniel Durstewitz},
journal= {arXiv preprint arXiv:2007.00321},
year = {2020}
}