XicorAttention：使用非线性相关性注意力的时间序列 Transformer
机器学习
2025-06-04 v1 人工智能
摘要
针对时间序列预测，已有多种基于 Transformer 的模型被提出。这些模型利用自注意力机制来捕捉序列中的长期时间或变量依赖关系。现有方法可分为两种途径：（1）通过使计算稀疏化来降低注意力的计算成本，以及（2）通过重塑输入数据以聚合时间特征。然而，现有的注意力机制可能无法充分捕捉时间序列数据中固有的非线性依赖关系，仍有改进空间。在本研究中，我们提出了一种基于 Chatterjee 秩相关系数的新颖注意力机制，该系数用于衡量变量之间的非线性依赖关系。具体而言，我们用该秩系数替换标准注意力机制中的矩阵乘法，以衡量查询-键关系。由于计算 Chatterjee 相关系数涉及排序和排名操作，我们引入了一种采用 SoftSort 和 SoftRank 的可微近似。我们提出的机制“XicorAttention”，将其集成到几种 SOTA Transformer 模型中。在真实世界数据集上的实验结果表明，与现有模型相比，将非线性相关性纳入注意力可将预测准确率提高约 9.1%。
引用
@article{arxiv.2506.02694,
title = {XicorAttention: Time Series Transformer Using Attention with Nonlinear Correlation},
author = {Daichi Kimura and Tomonori Izumitani and Hisashi Kashima},
journal= {arXiv preprint arXiv:2506.02694},
year = {2025}
}