三 Transformer Hawkes 过程：三个头胜于一个
机器学习
2021-12-28 v1
摘要
摘要。我们遇到的大多数真实世界数据都是异步事件序列，因此过去几十年的特征是各类点过程被应用于社交网络、电子病历和金融交易领域。起初，能够以清晰定量的方式同时模拟复杂序列中不同事件间自触发与互触发模式的 Hawkes 过程及其变体更为流行。随后，随着神经网络的进展，神经 Hawkes 过程被相继提出，并逐渐成为一个研究热点。Transformer Hawkes 过程(THP)的提出带来了巨大的性能提升，从而掀起了基于 transformer 的神经 Hawkes 过程的新热潮。然而，THP 并未充分利用异步事件序列中事件的发生时间与类型信息。它只是将事件类型转换的编码与时间转换的位置编码简单加到源编码上。同时，由单一 transformer 构建的学习器会导致不可避免的学习偏差。为缓解这些问题，我们提出三 transformer Hawkes 过程(Tri-THP)模型，其中事件与时间信息作为辅助信息加入点积注意力以形成新的多头注意力。Tri-THP 的有效性通过在真实世界与合成数据上一系列精心设计的实验得到证明。
引用
@article{arxiv.2112.13058,
title = {Tri-Transformer Hawkes Process: Three Heads are better than one},
author = {Zhi-yan Song and Jian-wei Liu and Lu-ning Zhang and Ya-nan Han},
journal= {arXiv preprint arXiv:2112.13058},
year = {2021}
}