超越相似性:时序算子注意力用于时间序列分析
机器学习
2026-05-13 v1 人工智能
摘要
时间序列预测中存在一个持久的悖论:结构简单的MLP和线性模型常常超过高容量的Transformer。在我们看来,这一差距源于序列建模原始范式的不匹配:虽然许多时间序列动力学受全球时序算子(例如滤波和谐波结构)支配,但标准注意力形式将每个输出表示为输入的凸组合。这限制了其表示由时序信号处理所需的带符号和振荡变换的能力。我们将这一限制形式化为softmax注意力中的单纯形约束混合瓶颈,这在算子驱动的时间序列任务中尤其受限。为解决这一问题,我们提出了,一种通过增强注意力以显式、可学习的序列空间算子来实现注意力的框架,使其能够在保持输入依赖适应性的同时实现跨时间的直接带符号混合。为使密集的 算子实用,我们引入了随机算子正则化,这是一种高方差dropout机制,可稳定训练并防止平凡记忆。跨预测、异常检测和分类基准测试,TOA在集成到诸如PatchTST和iTransformer等标准网络结构时 consistently 实现性能提升,在重建密集型任务中尤其获得显著 gains。这些结果表明,显式算子学习是有效时间序列建模的关键要素。
引用
@article{arxiv.2605.11287,
title = {Beyond Similarity: Temporal Operator Attention for Time Series Analysis},
author = {Jevon Twitty and Vinh Pham and Nitiwith Rotchanarak and Viresh Pati and Yubin Kim and Shihao Yang and Jiecheng Lu},
journal= {arXiv preprint arXiv:2605.11287},
year = {2026}
}