基于隐式 ODE-LSTM 方法增强连续时间序列建模
机器学习
2025-03-13 v1 最优化与控制
摘要
由于其不规则采样率和高频采样等动态特性，连续时间序列（CTS）出现在许多应用中。由于具有不规则采样率的 CTS 难以用标准循环神经网络（RNN）建模，RNN 已被推广为具有由神经常微分方程（Neural ODE）定义的连续时间隐藏动态，从而产生了 ODE-RNN 模型。另一种提供更好建模的方法的是隐式 ODE（Latent ODE）模型，它构建了一个连续时间模型，其中潜在状态在所有时刻都有定义。Latent ODE 模型使用标准 RNN 作为编码器，神经 ODE 作为解码器。然而，由于 RNN 编码器导致缺失数据和潜在变量定义不清的困难，最近提出了一种 Latent ODE-RNN 模型，改用 ODE-RNN 模型作为编码器。Latent ODE 和 Latent ODE-RNN 模型都因梯度消失和爆炸问题而难以训练。为克服该问题，本文的主要贡献是提出并阐述一种基于新 Latent ODE 的新模型，该模型使用 ODE-LSTM（长短期记忆）网络作为编码器——即 Latent ODE-LSTM 模型。为限制梯度增长，在 Latent ODE-LSTM 模型中嵌入了梯度范数裁剪（Norm Gradient Clipping）策略。随后展示了新的 Latent ODE-LSTM（含和不含 Norm Gradient Clipping）在规则与不规则采样率下对 CTS 建模的性能评估。数值实验表明，新的 Latent ODE-LSTM 优于 Latent ODE-RNN，并能在训练中避免梯度消失和爆炸。
引用
@article{arxiv.2307.05126,
title = {Enhancing Continuous Time Series Modelling with a Latent ODE-LSTM Approach},
author = {C. Coelho and M. Fernanda P. Costa and L. L. Ferrás},
journal= {arXiv preprint arXiv:2307.05126},
year = {2025}
}