ContiFormer：用于不规则时间序列建模的连续时间 Transformer
机器学习
2024-02-19 v1 人工智能
摘要
对不规则时间序列上的连续时间动态进行建模，对于解释持续发生的数据演化和相关性至关重要。包括循环神经网络或 Transformer 模型在内的传统方法，利用强大的神经架构通过归纳偏置来捕捉复杂模式。然而，由于其离散特性，它们在泛化到连续时间数据范式方面存在局限性。尽管神经常微分方程（Neural ODEs）及其变体在处理不规则时间序列方面显示出令人鼓舞的结果，但它们往往无法捕捉这些序列内错综复杂的相关性。同时建模输入数据点之间的关系并捕捉连续时间系统的动态变化既具有挑战性又至关重要。为解决这一问题，我们提出了 ContiFormer，它将 vanilla Transformer 的关系建模扩展到了连续时间域，明确地将 Neural ODEs 的连续动态建模能力与 Transformer 的注意力机制相结合。我们从数学上刻画了 ContiFormer 的表达能力，并阐明通过精心设计的函数假设，许多专用于不规则时间序列建模的 Transformer 变体均可作为 ContiFormer 的特例。在合成和真实世界数据集上的广泛实验表明，ContiFormer 在不规则时间序列数据上具有卓越的建模能力和预测性能。项目链接：https://seqml.github.io/contiformer/。
引用
@article{arxiv.2402.10635,
title = {ContiFormer: Continuous-Time Transformer for Irregular Time Series Modeling},
author = {Yuqi Chen and Kan Ren and Yansen Wang and Yuchen Fang and Weiwei Sun and Dongsheng Li},
journal= {arXiv preprint arXiv:2402.10635},
year = {2024}
}
备注
Neurips 2023 Poster