具有时间先验的自注意力：我们能否从时间之箭中学到更多？
人工智能
2025-02-11 v3
摘要
自然界中许多多样的现象往往内在地编码了短期和长期的时间依赖关系，这尤其源于时间流动的方向。在这方面，我们发现实验证据表明，这些事件在更接近的时间戳下相互关联更高。然而，基于注意力的模型若要学习这些短期依赖中的规律性，需要大量数据，而这通常是不可行的。这是因为，尽管它们善于学习分段的时间依赖，基于注意力的模型缺乏编码时间序列中偏置的结构。作为解决，我们提出了一种简单高效的方法，通过对注意力矩阵直接施加可学习的自适应核，使注意力层能更好地编码这些数据集的短期时间偏置。我们选用电子健康记录（EHR）数据集上的多种预测任务进行实验，因为它们是具有潜在长期和短期时间依赖的典型例子。我们的实验显示，在大多数任务和数据集上，相较性能最佳的模型取得了优异的分类结果。
引用
@article{arxiv.2310.18932,
title = {Self Attention with Temporal Prior: Can We Learn More from Arrow of Time?},
author = {Kyung Geun Kim and Byeong Tak Lee},
journal= {arXiv preprint arXiv:2310.18932},
year = {2025}
}