MTSMAE：面向多元时间序列预测的掩码自编码器
机器学习
2022-10-06 v1 人工智能
摘要
大规模自监督预训练的 Transformer 架构已显著提升了自然语言处理（NLP）和计算机视觉（CV）中各类任务的性能。然而，关于通过预训练 Transformer 处理多元时间序列的研究匮乏，尤其是当前关于时间序列掩码自监督学习的研究仍存在空白。与语言和图像处理不同，时间序列的信息密度增加了研究难度。先前的块嵌入与掩码方法失效使挑战进一步加剧。本文根据多元时间序列的数据特征，提出一种块嵌入方法，并给出一种基于掩码自编码器（MAE）的自监督预训练方法，称为 MTSMAE，其相较无预训练的监督学习能显著提升性能。在来自不同领域且具有不同特征的若干常见多元时间序列数据集上评估我们的方法，实验结果表明我们的方法性能显著优于当前可用的最佳方法。
引用
@article{arxiv.2210.02199,
title = {MTSMAE: Masked Autoencoders for Multivariate Time-Series Forecasting},
author = {Peiwang Tang and Xianchao Zhang},
journal= {arXiv preprint arXiv:2210.02199},
year = {2022}
}