基于注意力Kronecker分解的高分辨率时间序列高效分类
机器学习
2024-03-11 v1
摘要
由于各领域中精细时间数据的可用性不断增加，高分辨率时间序列分类问题至关重要。为有效应对这一挑战，最先进的注意力模型必须具备可扩展性，以适应高分辨率时间序列数据中常见的不断增长的序列长度，同时在处理此类数据集中固有的噪声时展现出鲁棒性。为此，我们提出根据交互范围将长时间序列分层编码为多个层级。通过捕捉不同层级的关系，我们能够构建更鲁棒、更具表达力且更高效的模型，从而捕捉数据中的短期波动与长期趋势。接着，我们通过引入Kronecker分解注意力来处理此类多层级时间序列，提出了一种新的时间序列Transformer主干网络，该网络从下层到上层依次计算注意力。在四个长时间序列数据集上的实验表明，与基线方法相比，该方法在提升效率的同时取得了更优的分类结果。
引用
@article{arxiv.2403.04882,
title = {Efficient High-Resolution Time Series Classification via Attention Kronecker Decomposition},
author = {Aosong Feng and Jialin Chen and Juan Garza and Brooklyn Berry and Francisco Salazar and Yifeng Gao and Rex Ying and Leandros Tassiulas},
journal= {arXiv preprint arXiv:2403.04882},
year = {2024}
}