TEAFormers：用于多维时间序列预测的张量增强 Transformer
机器学习
2024-10-29 v1 人工智能
机器学习
摘要
矩阵和张量变量时间序列等多维时间序列数据在经济学、金融学和气候科学等领域日益普遍。传统的 Transformer 模型虽然擅长处理序列数据，但无法有效保留这些多维结构，因为其内部操作实际上将多维观测展平为向量，从而丢失了关键的多维关系与模式。为了解决这一问题，我们引入了张量增强 Transformer（TEAFormer），这是一种在 Transformer 框架内结合张量扩展与压缩以保持并利用固有多维结构的新方法，从而降低了计算成本并提高了预测精度。TEAFormer 的核心特征是张量增强（TEA）模块，该模块利用张量扩展来增强多视图特征学习，并利用张量压缩实现高效的信息聚合与降低计算负荷。TEA 模块不仅是一个特定的模型架构，还是一个高度兼容 Transformer 注意力机制与编码器-解码器结构的通用组件，使其能适应现有的 Transformer 架构。我们的综合实验将 TEA 模块集成到三个流行的时间序列 Transformer 模型中，并在三个真实世界基准测试上进行了测试，结果显示出显著的性能提升，突显了 TEAFormers 在前沿时间序列预测中的潜力。
关键词
引用
@article{arxiv.2410.20439,
title = {TEAFormers: TEnsor-Augmented Transformers for Multi-Dimensional Time Series Forecasting},
author = {Linghang Kong and Elynn Chen and Yuzhou Chen and Yuefeng Han},
journal= {arXiv preprint arXiv:2410.20439},
year = {2024}
}