Sparse-VQ Transformer：一种用于增强时间序列预测的无FFN向量量化框架
机器学习
2024-02-09 v1 人工智能
摘要
时间序列分析对众多应用至关重要，而transformers在这一领域日益突出。领先的方法对来自NLP和CV的transformer架构进行了定制，利用分块技术将连续信号转换为片段。然而，由于显著的分布偏移和内在噪声水平，时间序列数据具有独特的挑战性。为了应对这两个挑战，我们引入了稀疏向量量化无FFN Transformer（Sparse-VQ）。我们的方法利用稀疏向量量化技术结合反向实例归一化（RevIN）来减少噪声影响并捕获足够的预测统计量，作为transformer架构中前馈层（FFN）的替代。我们的无FFN方法减少了参数量，提高了计算效率并降低了过拟合。通过在十个基准数据集（包括新引入的CAISO数据集）上的评估，Sparse-VQ在单变量和多变量时间序列预测中的MAE分别降低了7.84%和4.17%，超越了领先模型。此外，它可以与现有的基于transformer的模型无缝集成，以提升其性能。
引用
@article{arxiv.2402.05830,
title = {Sparse-VQ Transformer: An FFN-Free Framework with Vector Quantization for Enhanced Time Series Forecasting},
author = {Yanjun Zhao and Tian Zhou and Chao Chen and Liang Sun and Yi Qian and Rong Jin},
journal= {arXiv preprint arXiv:2402.05830},
year = {2024}
}