识别具有多时间尺度与长程依赖的非线性动力系统
机器学习
2021-03-15 v3 定量方法
机器学习
摘要
生物学与物理学中的一个主要理论兴趣是识别生成所观测时间序列的非线性动力系统(DS)。循环神经网络(RNNs)原则上足以逼近任何底层 DS,但其原始形式存在梯度爆炸与消失问题。先前缓解该问题的尝试要么导致更复杂、数学上更难处理的 RNN 架构,要么严重限制了 RNN 的动力学表达能力。此处我们通过为带 ReLU 激活函数的原始 RNN 提出一种简单正则化方案来解决此问题,该方案使它们能够解决长程依赖问题并表达慢时间尺度,同时保留简单的数学结构,使其 DS 性质部分可解析刻画。我们证明两个定理,建立了正则化 RNN 动力学与其梯度之间的紧密联系,在 DS 基准上说明我们的正则化方法极大简化了具有差异巨大时间尺度的 DS 重构,并表明我们的方法在若干任务上与其他长程架构(如 LSTMs)相当。
引用
@article{arxiv.1910.03471,
title = {Identifying nonlinear dynamical systems with multiple time scales and long-range dependencies},
author = {Dominik Schmidt and Georgia Koppe and Zahra Monfared and Max Beutelspacher and Daniel Durstewitz},
journal= {arXiv preprint arXiv:1910.03471},
year = {2021}
}