CITRAS：用于时间序列预测的协变量信息化Transformer
计算与语言
2025-04-01 v1
摘要
在实际时间序列预测中，协变量提供丰富的上下文信息，可潜在增强目标变量的预测。尽管一些协变量延伸到未来的预测时段（如日历事件、折扣计划），但大多数多变量模型未能充分利用这一关键信息，由于目标变量长度与之不同。此外，捕获目标变量与协变量之间的依赖性并非易事，模型必须精确反映协变量的局部影响，同时捕捉全局跨变量依赖。为克服这些挑战，我们提出CITRAS，一种 decoder-only Transformer，灵活地利用多个目标、历史协变量和未来协变量。虽保持强大的自回归能力，CITRAS在patch级跨变量注意力中引入两种新机制：键值（KV）偏移和注意力得分平滑。KV偏移基于协变量的并发依赖将未来协变量无缝整合到目标变量的预测中。此外，注意力得分平滑通过平滑注意力得分的时间序列，将局部精确的patch级跨变量依赖转化为全局变量级别的依赖。实验表明，CITRAS在来自协变量信息化和多变量设置的十三个真实世界基准上超越当前最先进的模型，展示了其在跨变量和跨时间依赖方面的灵活能力，以实现更好的预测准确性。
关键词
引用
@article{arxiv.2503.24006,
title = {Comparing representations of long clinical texts for the task of patient note-identification},
author = {Safa Alsaidi and Marc Vincent and Olivia Boyer and Nicolas Garcelon and Miguel Couceiro and Adrien Coulet},
journal= {arXiv preprint arXiv:2503.24006},
year = {2025}
}