U形Transformer：在时间序列分析中保留高频上下文
机器学习
2023-10-10 v2 计算机视觉与模式识别
摘要
时间序列预测在各类工业领域中起着关键作用。近年来，以transformer为骨干的神经网络在计算机视觉和自然语言处理等诸多领域取得了显著成功。在时间序列分析领域，一些研究表明即便最简单的MLP网络在时间序列预测任务上也优于先进的基于transformer的网络。然而，我们认为这些发现表明时间序列序列中存在低秩特性。在本文中，我们考虑transformer的低通特性，并尝试结合MLP的优势。我们受Unet启发将跳跃层连接引入传统transformer骨干，从而将高频上下文从输入保留至输出，即U形Transformer。我们引入块合并与分割操作以提取不同尺度的特征，并使用更大数据集以充分利用transformer骨干。我们的实验表明，该模型在多个数据集上以相对较低的成本达到了先进水平。
引用
@article{arxiv.2307.09019,
title = {U-shaped Transformer: Retain High Frequency Context in Time Series Analysis},
author = {Qingkui Chen and Yiqin Zhang},
journal= {arXiv preprint arXiv:2307.09019},
year = {2023}
}