改进 Transformer 位置编码用于多元时间序列分类
机器学习
2024-02-21 v1 计算机视觉与模式识别
摘要
Transformer 在深度学习的许多应用中展现了卓越性能。当应用于时间序列数据时，Transformer 需要有效的位置编码来捕捉时间序列数据的顺序。位置编码在时间序列分析中的功效尚未被充分研究且仍存在争议，例如，注入绝对位置编码还是相对位置编码，或是二者结合，何者更优。为澄清此问题，我们首先回顾现有的绝对与相对位置编码方法在时间序列分类中的应用。随后我们提出了一种专用于时间序列数据的新绝对位置编码方法，称为时间绝对位置编码（tAPE）。我们的新方法在绝对位置编码中融入了序列长度与输入嵌入维度。此外，我们提出了计算高效的相对位置编码实现（eRPE）以提升时间序列的泛化能力。我们进而提出了一种结合 tAPE/eRPE 与基于卷积的输入编码的多元时间序列分类（MTSC）模型 ConvTran，以改进时间序列数据的位置与数据嵌入。所提出的绝对与相对位置编码方法简单高效，可轻松集成进 Transformer 模块并用于预测、外部回归与异常检测等下游任务。在 32 个多元时间序列数据集上的大量实验表明，我们的模型显著优于最先进的卷积与基于 Transformer 的模型。代码与模型已在 \url{https://github.com/Navidfoumani/ConvTran} 开源。
引用
@article{arxiv.2305.16642,
title = {Improving Position Encoding of Transformers for Multivariate Time Series Classification},
author = {Navid Mohammadi Foumani and Chang Wei Tan and Geoffrey I. Webb and Mahsa Salehi},
journal= {arXiv preprint arXiv:2305.16642},
year = {2024}
}