面向时间序列分类的类特定注意力（CSA）机制
机器学习
2022-11-22 v1
摘要
大多数基于神经网络的分类器利用若干隐藏层提取特征，并在输出层利用这些提取的特征进行预测。我们观察到并非所有特征在各类中都同等显著；我们称此类特征为类特定特征。现有模型未能充分利用特征中的类特定差异，因为它们将隐藏层提取的所有特征同等送入输出层。近期的注意力机制允许对不同特征赋予不同侧重（或注意力），但这些注意力模型本身是与类无关的。在本文中，我们提出一种新颖的类特定注意力（CSA）模块，以捕获显著的类特定特征并提升时间序列的整体分类性能。CSA 模块的设计使其可被现有基于神经网络（NN）的模型采用以进行时间序列分类。在实验中，该模块被嵌入五个最先进的时间序列分类神经网络模型，利用 40 个不同真实数据集测试其有效性。大量实验表明，嵌入 CSA 模块的 NN 模型在多数情况下可改进基模型，准确率提升最高达 42%。我们的统计分析显示，嵌入 CSA 模块的 NN 模型在 67% 的 MTS 和 80% 的 UTS 测试用例上优于基 NN 模型，并在 11% 的 MTS 和 13% 的 UTS 测试用例上显著更优。
引用
@article{arxiv.2211.10609,
title = {Class-Specific Attention (CSA) for Time-Series Classification},
author = {Yifan Hao and Huiping Cao and K. Selcuk Candan and Jiefei Liu and Huiying Chen and Ziwei Ma},
journal= {arXiv preprint arXiv:2211.10609},
year = {2022}
}
备注
12 pages