用于时间序列分类的频谱注意力机制
机器学习
2021-01-27 v1 机器学习
摘要
时间序列分类(TSC)一直是一项重要且具有挑战性的研究任务。随着深度学习的广泛应用,越来越多的研究者使用深度学习模型解决 TSC 问题。由于时间序列常包含大量噪声,对网络训练产生负面影响,人们通常在训练网络前对原始数据进行滤波。现有方案将滤波与训练视为两个阶段,且滤波器的设计需要专家经验,这增加了算法设计难度且不具通用性。我们注意到滤波的本质是滤除不显著的频谱分量并突出重要分量,这与注意力机制类似。本文提出一种作用于频谱的注意力机制(SAM)。网络可为各频率分量分配适当权重以实现自适应滤波。我们使用 L1 正则化进一步增强 SAM 的频率筛选能力。我们还提出分段 SAM(SSAM)以避免使用整段序列频谱导致的时间域信息丢失:其中引入滑动窗口对原始数据分段,然后对各段施加 SAM 以生成新特征。我们提出一种启发式策略以搜索合适的分段数。实验结果表明,SSAM 能产生更好的特征表示,使网络收敛更快,并提升鲁棒性与分类精度。
引用
@article{arxiv.2101.10420,
title = {Spectrum Attention Mechanism for Time Series Classification},
author = {Shibo Zhou and Yu Pan},
journal= {arXiv preprint arXiv:2101.10420},
year = {2021}
}
备注
6 pages, 9 figures, China Control Conference