基于递归神经网络的时序动力系统重构的并行化训练

从数据重构非线性动力系统（DS）是科学和工程中的基本挑战，但它本质上依赖于顺序模型。近期突破为顺序模型提供了可并行计算沿序列长度 $T$ 的算法，实现对数时间复杂度 $\mathcal{O}(\log T)$。由于序列长度受限于经典反向传播通过时间的线性运行时间复杂度 $\mathcal{O}(T)$，这为重构打开了新的机遇。本文研究了两种突出的并行化时序算法用于此任务，两者都利用并行关联扫描作为核心计算原语。第一类包含线性但非自主动力学的模型以及非线性读出器，例如现代状态空间模型（SSMs），而第二类包括一般非线性模型，可通过 DEER 框架实现并行化。我们发现，第一类模型的线性训练时间递推性质会限制学习准确非线性动力学的能力。为此，我们在更广泛的非线性框架中增强了 DEER，引入广义教师强制（GTF），确保在任意序列长度下学习非线性动力学的稳定有效。使用 GTF-DEER，我们探讨了在极长序列（$T>10^4$）上的训练对重构的益处。我们的结果表明，若数据特征长时间尺度，获取此类长轨迹显著改善重构。本工作将 GTF-DEER 确立为数据驱动发现的稳健工具，并凸显了建模复杂 DS 中的长序列学习的高度未被开发潜力。