缓解数据冗余以重振基于Transformer的长期时间序列预测系统
机器学习
2025-03-27 v5 计算机视觉与模式识别
摘要
长期时间序列预测（LTSF）是多种真实应用的基础，其中基于Transformer的模型因能捕捉长程依赖而成为主导框架。然而，这些模型在滚动预测设置中常因数据冗余而过拟合，限制了其泛化能力，在具有高度相似相邻数据的较长序列中尤为明显。本工作中，我们引入CLMFormer，一种通过课程学习和记忆驱动解码器缓解冗余的新框架。具体而言，我们逐步向训练样本引入伯努利噪声，有效打破相邻数据点间的高相似性。这种课程驱动的噪声引入通过提供更丰富多样且具有代表性的训练数据，辅助记忆驱动解码器，增强解码器对时间序列数据中季节性趋势与依赖的建模能力。为进一步提升预测精度，我们引入记忆驱动解码器。该组件使模型能够捕捉时间序列数据中的季节性趋势与依赖，并利用时间关系促进预测过程。在六个真实LTSF基准上的大量实验表明，CLMFormer持续将基于Transformer的模型提升高达30%，证明了其在长时域预测中的有效性。
引用
@article{arxiv.2207.07827,
title = {Mitigating Data Redundancy to Revitalize Transformer-based Long-Term Time Series Forecasting System},
author = {Mingjie Li and Rui Liu and Guangsi Shi and Mingfei Han and Changling Li and Lina Yao and Xiaojun Chang and Ling Chen},
journal= {arXiv preprint arXiv:2207.07827},
year = {2025}
}
备注
ACM TIST