学习用于时间序列预测的新型 Transformer 架构
机器学习
2025-02-20 v1 计算与语言
摘要
尽管基于 Transformer 的模型在时间序列预测（TSP）任务中取得了成功，但现有的 Transformer 架构仍面临局限性，且文献缺乏对替代架构的全面探索。为了应对这些挑战，我们提出了 AutoFormer-TS，这是一个新颖的框架，利用为 TSP 任务量身定制的全面搜索空间进行 Transformer 架构搜索。我们的框架引入了一种可微神经架构搜索（DNAS）方法 AB-DARTS，它通过增强架构内最优操作的识别来改进现有的 DNAS 方法。AutoFormer-TS 系统地探索了替代的注意力机制、激活函数和编码操作，超越了传统的 Transformer 设计。大量实验表明，AutoFormer-TS 在各种 TSP 基准上始终优于 SOTA 基线，在保持合理训练效率的同时实现了更优的预测精度。
引用
@article{arxiv.2502.13721,
title = {Learning Novel Transformer Architecture for Time-series Forecasting},
author = {Juyuan Zhang and Wei Zhu and Jiechao Gao},
journal= {arXiv preprint arXiv:2502.13721},
year = {2025}
}