从 Hawkes 过程到注意力：面向事件序列的时间调制机制
机器学习
2026-03-25 v2 统计理论
应用统计
统计理论
摘要
带标记时间点过程（MTPP）自然地出现在医疗、社交、商业和金融领域。然而，现有的基于 Transformer 的方法大多仅通过位置编码注入时间信息，依赖共享或参数化衰减结构，这限制了它们捕获异构且类型特定时间效应的能力。受此观察启发，我们从多元 Hawkes 过程理论出发，为 MTPP 推导出一种名为 Hawkes Attention 的新型注意力算子，使用可学习的逐类型神经核来调制查询、键和值投影，从而替换传统注意力中的对应部分。得益于这一设计，Hawkes Attention 统一了事件时间与内容交互，从数据中同时学习与时间相关的行为和类型特定的激发模式。实验结果表明，与基线相比，我们的方法取得了更好的性能。除了通用 MTPP 之外，我们的注意力机制还可以轻松应用于特定的时间结构，例如时间序列预测。
引用
@article{arxiv.2601.09220,
title = {From Hawkes Processes to Attention: Time-Modulated Mechanisms for Event Sequences},
author = {Xinzi Tan and Kejian Zhang and Junhan Yu and Doudou Zhou},
journal= {arXiv preprint arXiv:2601.09220},
year = {2026}
}