CAPS：统一Transformer-based时间序列预测中的注意力、 recurrence 和对齐
机器学习
2026-02-04 v1 人工智能
摘要
本文提出了 CAPS（Clock-weighted Aggregation with Prefix-products and Softmax），一种用于时间序列预测的结构化注意力机制，将三个不同的时间结构解耦：全局趋势、局部冲击和季节性模式。标准softmax注意力通过全局归一化将这些结构缠合，而最近的循环模型则牺牲了长期、独立于顺序的选择，以获得顺序依赖的因果结构。CAPS 将 SO(2) 旋转用于相位对齐，并结合三个加法门控路径——黎曼softmax、前缀乘积门控和时钟基线——于单个注意力层中。我们引入时钟机制，一种学习的时间加权，通过共享的时间重要性概念来调制这些路径。在长期和短期预测基准测试中，CAPS 超越了 vanilla softmax 和线性注意力机制，显示出对七个强基线具有竞争性能且具有线性复杂度。我们的代码实现已公开于 https://github.com/vireshpati/CAPS-Attention。
引用
@article{arxiv.2602.02729,
title = {CAPS: Unifying Attention, Recurrence, and Alignment in Transformer-based Time Series Forecasting},
author = {Viresh Pati and Yubin Kim and Vinh Pham and Jevon Twitty and Shihao Yang and Jiecheng Lu},
journal= {arXiv preprint arXiv:2602.02729},
year = {2026}
}