VSFormer：价值与形状感知的带先验增强自注意力多变量时间序列分类Transformer
机器学习
2024-12-24 v1 人工智能
摘要
多变量时间序列分类是数据挖掘中的关键任务，因其广泛的应用而吸引越来越多的研究关注。虽然许多现有方法关注发现时间序列中的判别性模式，但现实世界的数据并不总是呈现此类模式，有时原始数值本身也可作为判别性特征。此外，近期 Transformer 模型的成功激发了许多研究。然而，当应用于时间序列分类时，Transformer 模型中的自注意力机制可能会引入与分类无关的特征，从而损害准确性。为解决这些挑战，我们提出了一种新方法 VSFormer，将判别性模式（形状）和数值信息（价值）纳入考虑。此外，我们提取由监督信息派生的类别特定先验信息，以丰富位置编码并提供面向分类的自注意力学习，从而增强其效果。在所有 30 个 UEA 归档数据集上的大量实验表明，我们的方法在准确性上优于 SOTA 模型。通过消融研究，我们展示了改进编码层和提出的自注意力机制的有效性。最后，我们对一个没有判别性模式的真实世界时间序列数据集进行了案例研究，以解释我们的模型。
关键词
引用
@article{arxiv.2412.16515,
title = {VSFormer: Value and Shape-Aware Transformer with Prior-Enhanced Self-Attention for Multivariate Time Series Classification},
author = {Wenjie Xi and Rundong Zuo and Alejandro Alvarez and Jie Zhang and Byron Choi and Jessica Lin},
journal= {arXiv preprint arXiv:2412.16515},
year = {2024}
}