通过自注意力与相对位置注入增强多元时间序列分类器
计算机视觉与模式识别
2023-03-06 v2 信号处理
摘要
时间序列分类(TSC)对于许多视觉计算应用而言是一项重要且富有挑战性的任务。尽管已开发出种类繁多的TSC方法,但相对较少的方法利用了深度神经网络(DNN)。本文提出两种新颖的注意力模块(全局时间注意力与时间伪高斯增强自注意力),它们能够增强基于深度学习的TSC方法,即便这些方法是为特定数据集或任务设计并优化的。我们在东英吉利大学(UEA)基准(一个由30个多元时间序列分类(MTSC)数据集组成的标准化集合)上评估多个最先进的基于深度学习的TSC模型,验证了这一主张。我们表明,加入所提出的注意力模块可使基模型的平均准确率提升高达3.6%。此外,所提出的TPS模块使用一种新的注入模块,将相对位置信息纳入transformers中。作为一个计算复杂度更低的独立单元,它使TPS的性能优于大多数最先进的基于DNN的TSC方法。我们的实验设置与所提出的注意力模块的源代码已公开可用。
引用
@article{arxiv.2302.06683,
title = {Enhancing Multivariate Time Series Classifiers through Self-Attention and Relative Positioning Infusion},
author = {Mehryar Abbasi and Parvaneh Saeedi},
journal= {arXiv preprint arXiv:2302.06683},
year = {2023}
}