Sentinel：用于时间序列预测的多补丁 Transformer 及时序与通道注意力
机器学习
2025-03-25 v1 机器学习
摘要
基于 Transformer 的时间序列预测方法近期因其能够建模序列数据而受到广泛关注。大多数前沿架构要么仅利用时序依赖，要么仅利用跨通道依赖，限制了其在双重依赖关系至关重要的多变量时间序列预测中的效果。我们提出了 Sentinel，一种完全基于 Transformer 的架构，包含一个能够从通道维度提取上下文信息的编码器，以及一个用于捕获因果关系和跨时间维度依赖的解码器。此外，我们引入了多补丁注意力机制，通过补丁化过程对输入序列进行结构化处理，使其能够自然地集成到 Transformer 架构中，取代多头注意力的分割过程。在标准基准数据集上的大量实验表明，Sentinel 由于能够“监控”时序维度和跨通道维度，实现了比现有方法更好的或相当的性能。
引用
@article{arxiv.2503.17658,
title = {Sentinel: Multi-Patch Transformer with Temporal and Channel Attention for Time Series Forecasting},
author = {Davide Villaboni and Alberto Castellini and Ivan Luciano Danesi and Alessandro Farinelli},
journal= {arXiv preprint arXiv:2503.17658},
year = {2025}
}