用于时间序列生成的深度潜状态空间模型
机器学习
2023-02-07 v3 人工智能
机器学习
摘要
基于常微分方程（ODE）的方法被广泛用于构建时间序列的生成模型。除了由于显式计算隐状态递推带来的高计算开销外，现有的基于 ODE 的模型由于优化过程中的数值困难，难以学习具有尖锐转变的序列数据——这在许多真实世界系统中很常见。在本工作中，我们提出 LS4，一种具有依状态空间 ODE 演化的潜变量的序列生成模型，以增加建模能力。受近期深度状态空间模型（S4）启发，我们通过利用 LS4 的卷积表示绕过隐状态的显式计算来实现加速。我们表明，在 Monash 预测库中的真实世界数据集上，LS4 在边际分布、分类和预测分数方面显著优于先前的连续时间生成模型，并且能够对具有尖锐时间转变的高度随机数据进行建模。LS4 在连续时间潜生成模型中达到了最先进水平（SOTA），在不规则采样数据集上均方误差显著改善且变分下界更紧，同时在长序列上比其他基线快 100 倍。
引用
@article{arxiv.2212.12749,
title = {Deep Latent State Space Models for Time-Series Generation},
author = {Linqi Zhou and Michael Poli and Winnie Xu and Stefano Massaroli and Stefano Ermon},
journal= {arXiv preprint arXiv:2212.12749},
year = {2023}
}