用于表格时间序列的注意力增强卷积 Transformer
机器学习
2021-10-06 v1 人工智能
摘要
时间序列分类是工业数据科学中最常执行的任务之一，而工业环境中最广泛使用的数据表示形式是表格表示。在这项工作中，我们提出了一种新颖的可扩展架构，用于从表格时间序列数据中学习表示，并随后执行下游任务（如时间序列分类）。该表示学习框架是端到端的，类似于语言建模中的双向编码器表示来自 Transformer（BERT），然而，我们引入了适用于时间序列数据预训练的新颖掩码技术。此外，我们还使用了经 Transformer 增强的一维卷积并探索了其有效性，因为时间序列数据集天然适用于一维卷积。我们还提出了一种新颖的时间戳嵌入技术，有助于处理不同时间粒度级别的周期循环以及时间序列数据中存在的非周期趋势。我们提出的模型是端到端的，可处理类别型与连续值输入，且不需要对连续特征进行任何量化或编码。
引用
@article{arxiv.2110.01825,
title = {Attention Augmented Convolutional Transformer for Tabular Time-series},
author = {Sharath M Shankaranarayana and Davor Runje},
journal= {arXiv preprint arXiv:2110.01825},
year = {2021}
}