连续时间分段线性循环神经网络
机器学习
2026-02-18 v1
摘要
在动力系统重建 (DSR) 中，我们旨在恢复观察到的时间序列所对应的动力系统 (DS)。具体而言，我们旨在学习一个生成式代理模型，该模型近似数据生成的底层 DS，并重现其长期属性 (`气候统计'). 在科学和医学领域，特别是，这些模型需要具有可机械可追溯性——通过数学分析，我们希望获得对恢复系统工作原理的洞察。分段线性 (PL)、基于 ReLU 的循环神经网络 (PLRNNs) 在此方面具有良好的业绩表现，代表着 DSR 模型的 SOTA，同时由于其 PL 设计，允许通过数学分析获得洞察。然而，所有当前的 PLRNN 变体都是离散时间映射。这与大多数物理和生物过程假设的连续时间性质不符，使其难以适应来自不规则时间间隔的数据。神经 ODE 是一种解决方案，但它们不达到 PLRNNs 的 DSR 性能，往往缺乏其可追溯性。本文为连续时间 PLRNNs (cPLRNNs) 提供了理论：我们提出一种用于训练和模拟此类模型的新算法，通过高效利用其 PL 结构来规避数值积分。我们进一步演示了如何在训练后的模型中半解析地确定诸如平衡点或极限循环等重要拓扑对象。我们将 cPLRNNs 与其离散时间版本以及神经 ODE 在 DSR 基准测试中进行比较，包括带有硬性阈值的离散系统。
引用
@article{arxiv.2602.15649,
title = {Continuous-Time Piecewise-Linear Recurrent Neural Networks},
author = {Alena Brändle and Lukas Eisenmann and Florian Götz and Daniel Durstewitz},
journal= {arXiv preprint arXiv:2602.15649},
year = {2026}
}