动态关系启动改进多变量时间序列中的Transformer
机器学习
2026-05-26 v2 人工智能
摘要
Transformer中的标准注意力机制采用静态的token表示，在每一层的所有成对计算中保持不变。这限制了其与每对token交互中潜在的多样化关系动态的表征对齐。尽管它们在关系相对同质的领域中表现出色，但标准注意力的静态关系学习难以捕捉多变量时间序列（MTS）数据中多样、异构的通道间依赖关系——在单一系统中，不同的通道对交互可能受完全不同的物理定律或时间动态支配。为了使注意力机制更好地契合此类领域现象，我们提出了具有动态关系启动的注意力（prime attention）。与标准注意力中每个token在其所有成对交互中呈现相同表示不同，prime attention通过可学习的调制动态地（或针对每次交互）定制每个token，以最佳捕捉每对token的独特关系动态，针对该特定关系优化每次成对交互。prime attention的这种表征可塑性使其能够在MTS中有效提取特定于关系的信息，同时保持与标准注意力相同的渐近计算复杂度。我们的结果表明，prime attention在各项基准测试中始终优于标准注意力，预测准确率最高提升6.5%。此外，我们发现，与标准注意力相比，prime attention在使用最多减少40%的序列长度时，仍能实现相当或更优的性能，进一步证明了其卓越的关系建模能力。
引用
@article{arxiv.2509.12196,
title = {Dynamic Relational Priming Improves Transformer in Multivariate Time Series},
author = {Hunjae Lee and Corey Clark},
journal= {arXiv preprint arXiv:2509.12196},
year = {2026}
}