少即是多：利用 Esiformer 拥抱稀疏性与插值进行时间序列预测
机器学习
2024-10-10 v1 人工智能
摘要
时间序列预测在许多实际领域中发挥着重要作用。但现实应用生成的时间序列数据通常表现出高方差和大量噪声，这使得捕捉数据固有的周期模式变得困难，从而显著影响预测精度。为解决此问题，我们提出了 Esiformer，它对原始数据进行插值，降低了数据的整体方差并减轻了噪声的影响。此外，我们使用鲁棒的稀疏前馈网络（Sparse FFN）增强了标准 Transformer。与标准实现相比，它可以有效增强模型的表示能力，并保持出色的鲁棒性，避免过拟合风险。通过在具有挑战性的真实数据集上的评估，我们的方法优于领先模型 PatchTST，在多变量时间序列预测中均方误差（MSE）降低了 6.5%，平均绝对误差（MAE）降低了 5.8%。代码可在 https://github.com/yyg1282142265/Esiformer/tree/main 获取。
引用
@article{arxiv.2410.05726,
title = {Less is more: Embracing sparsity and interpolation with Esiformer for time series forecasting},
author = {Yangyang Guo and Yanjun Zhao and Sizhe Dang and Tian Zhou and Liang Sun and Yi Qian},
journal= {arXiv preprint arXiv:2410.05726},
year = {2024}
}