具有自适应递归迭代的通用Transformer霍克斯过程
机器学习
2021-12-30 v1
摘要
异步事件序列广泛分布于自然世界与人类活动中，例如地震记录、社交媒体中的用户活动等。如何从这类看似无序的数据中提炼信息是研究者的持久课题。最有用的模型之一是点过程模型，在此基础上研究者取得了诸多显著成果。此外，近年来基于神经网络（尤其是循环神经网络（RNN））的点过程模型被提出，与传统模型相比性能大幅提升。受Transformer模型的启发——其无需循环与卷积结构即可高效学习序列数据——Transformer霍克斯过程应运而生，并取得了最先进的性能。然而，有研究证明在Transformer中重新引入递归计算可进一步提升其性能。因此，我们提出了一种新型Transformer霍克斯过程模型：通用Transformer霍克斯过程（UTHP），其同时包含递归机制与自注意力机制，并且为提升模型的局部感知能力，我们还在位置前馈部分引入了卷积神经网络（CNN）。我们在多个数据集上开展实验以验证UTHP的有效性，并探究引入递归机制后的变化。这些跨数据集实验表明，相较于先前最先进的模型，我们所提新模型的性能有一定提升。
引用
@article{arxiv.2112.14479,
title = {Universal Transformer Hawkes Process with Adaptive Recursive Iteration},
author = {Lu-ning Zhang and Jian-wei Liu and Zhi-yan Song and Xin Zuo},
journal= {arXiv preprint arXiv:2112.14479},
year = {2021}
}