TCCT：时序预测中紧密耦合的卷积 Transformer
机器学习
2022-02-15 v2 人工智能
摘要
时间序列预测在广泛的现实应用中至关重要。近期研究表明，Transformer 在处理此类问题（尤其是长序列时间序列输入（LSTI）与长序列时间序列预测（LSTF）问题）上具有优越性。为提升 Transformer 的效率并增强其局部性，这些研究以不同程度将 Transformer 与 CNN 结合。然而，它们的结合是松散耦合的，并未充分利用 CNN。为解决该问题，我们提出紧密耦合卷积 Transformer（TCCT）的概念以及三种将改造后的 CNN 架构嵌入 Transformer 的 TCCT 架构：（1）CSPAttention：通过将 CSPNet 与自注意力机制融合，在达到同等或更高预测精度的同时，将自注意力机制的计算成本降低 30%、内存占用降低 50%。（2）膨胀因果卷积：该方法通过用膨胀因果卷积层替换 Informer 提出的蒸馏操作中的标准卷积层，以获得呈指数增长的感受野。（3）直通机制：将直通机制应用于自注意力块堆叠，可帮助类 Transformer 模型以可忽略的额外计算成本获取更细粒度的信息。我们在真实数据集上的实验表明，我们的 TCCT 架构能以低得多的计算与内存成本大幅提升现有最先进 Transformer 模型（包括标准 Transformer、LogTrans 与 Informer）在时间序列预测上的性能。
引用
@article{arxiv.2108.12784,
title = {TCCT: Tightly-Coupled Convolutional Transformer on Time Series Forecasting},
author = {Li Shen and Yangzhu Wang},
journal= {arXiv preprint arXiv:2108.12784},
year = {2022}
}