ElasTST:面向鲁棒多步长预测的弹性时间序列变换器
机器学习
2024-11-05 v1 机器学习
摘要
众多工业领域需要能够在不同步长上提供鲁棒预测的模型。尽管在构建特定的时间序列预测架构和开发预训练的通用模型方面取得了近期进展,但对其在推理过程中适应多步长预测能力的全面考察仍然缺乏。本文通过设计和评估弹性时间序列变换器(ElasTST)填补了这一空白。ElasTST模型采用非自回归设计,结合占位符和结构化自注意力掩码,确保未来输出对推理步长的调整具有不变性。还集成了可调版本的旋转位置嵌入到ElasTST中,以捕捉时间序列的特定周期并增强对不同步长的适应性。此外,ElasTST采用多尺度块设计,有效整合了细粒度和粗粒度信息。在训练阶段,ElasTST使用步长重加权策略,通过单一步长设置近似随机采样多个步长的效果。通过全面的实验和与最先进的时间序列架构及当代基础模型的比较,我们证明了ElasTST独特设计元素的有效性。我们的发现使ElasTST成为多步长预测实际需求的鲁棒解决方案。
引用
@article{arxiv.2411.01842,
title = {ElasTST: Towards Robust Varied-Horizon Forecasting with Elastic Time-Series Transformer},
author = {Jiawen Zhang and Shun Zheng and Xumeng Wen and Xiaofang Zhou and Jiang Bian and Jia Li},
journal= {arXiv preprint arXiv:2411.01842},
year = {2024}
}
备注
NeurIPS 2024