基于函数式时间表示学习的自注意力机制
机器学习
2019-12-02 v1 机器学习
摘要
基于自注意力的序列建模在自然语言处理中已取得最先进的性能。凭借在模型灵活性、计算复杂度和可解释性方面的优势，自注意力正逐渐成为一种事件序列模型的关键组件。然而，与大多数其他序列模型一样，自注意力未考虑事件之间的时间间隔，因此捕获的是序列信号而非时间模式。在不依赖循环网络结构的情况下，自注意力通过位置编码识别事件顺序。为了弥合时间独立与时间依赖事件序列建模之间的差距，我们引入了一种函数式特征映射，将时间间隔嵌入到高维空间中。通过构造相关的平移不变时间核函数，我们在经典泛函分析结论（即 Bochner 定理和 Mercer 定理）下揭示了该特征映射的函数形式。我们提出了若干模型来学习函数式时间表示及其与事件表示的交互。这些方法在各种连续时间事件序列预测任务下的真实世界数据集上进行了评估。实验表明，所提方法与基线模型相比具有竞争力，同时也能捕获有用的时间-事件交互。
引用
@article{arxiv.1911.12864,
title = {Self-attention with Functional Time Representation Learning},
author = {Da Xu and Chuanwei Ruan and Sushant Kumar and Evren Korpeoglu and Kannan Achan},
journal= {arXiv preprint arXiv:1911.12864},
year = {2019}
}