基于时间条件变分自编码器的多元时间序列预测分布漂移自适应
机器学习
2024-04-03 v4
摘要
由于非平稳特性，真实世界多元时间序列（MTS）的分布随时间变化，即分布漂移。多数现有 MTS 预测模型深受分布漂移困扰，预测性能随时间退化。现有方法通过适应最新到达数据或依据未来数据导出的元知识自校正来处理分布漂移。尽管在 MTS 预测中取得巨大成功，这些方法几乎未能捕捉内在分布变化，尤其从分布视角。为此，我们提出新框架时间条件变分自编码器（TCVAE），对 MTS 中历史观测与未来数据间随时间的动态分布依赖建模，并将依赖推断为时间条件分布以利用潜变量。具体地，新颖的时间 Hawkes 注意力机制表示时间因子，随后送入前馈网络估计潜变量先验高斯分布。时间因子表示进一步通过门控注意力机制动态调整基于 Transformer 的编码器与解码器结构以适应分布变化。此外，我们引入条件连续归一化流将先验高斯转化为复杂无形式分布，以促进时间条件分布的灵活推断。在六个真实世界 MTS 数据集上的大量实验证明了 TCVAE 优于 SOTA MTS 预测基线的鲁棒性与有效性。我们通过多面案例研究与真实场景可视化进一步说明了 TCVAE 的适用性。
引用
@article{arxiv.2209.00654,
title = {Distributional Drift Adaptation with Temporal Conditional Variational Autoencoder for Multivariate Time Series Forecasting},
author = {Hui He and Qi Zhang and Kun Yi and Kaize Shi and Zhendong Niu and Longbing Cao},
journal= {arXiv preprint arXiv:2209.00654},
year = {2024}
}
备注
16 pages, 7 figures, accepted by IEEE Transactions on Neural Networks and Learning Systems (TNNLS)