重新思考时间序列分类中的注意力机制
机器学习
2022-07-18 v1 人工智能
摘要
基于注意力的模型已广泛应用于计算机视觉和自然语言处理等诸多领域。然而，其在时间序列分类（TSC）中的相关应用尚未被深入探索，导致大量 TSC 算法仍受困于注意力机制的普遍问题，如二次复杂度。本文通过提出灵活的多头线性注意力（FMLA）来提升注意力机制的效率和性能，该机制通过与可变形卷积块的逐层交互和在线知识蒸馏增强局部感知能力。此外，我们提出一种简单而有效的掩码机制，通过按比掩蔽各给定序列的部分位置，降低时间序列中的噪声影响并减少所提 FMLA 的冗余。为稳定该机制，样本经随机掩码层多次前向传播，其输出被聚合以教导采用常规掩码层的同一模型。我们在 85 个 UCR2018 数据集上进行了大量实验，将我们的算法与 11 种知名算法比较，结果显示我们的算法在 top-1 准确率上具有可比性能。我们还就每秒浮点运算数和参数量将我们的模型与三种基于 Transformer 的模型比较，发现我们的算法以更低复杂度实现了显著更优的效率。
引用
@article{arxiv.2207.07564,
title = {Rethinking Attention Mechanism in Time Series Classification},
author = {Bowen Zhao and Huanlai Xing and Xinhan Wang and Fuhong Song and Zhiwen Xiao},
journal= {arXiv preprint arXiv:2207.07564},
year = {2022}
}