不规则间隔事件及其参与者的 Transformer 嵌入

Chenghao Yang; Hongyuan Mei; Jason Eisner

不规则间隔事件及其参与者的 Transformer 嵌入

机器学习 2022-05-09 v3 人工智能计算机科学中的逻辑

作者: Chenghao Yang , Hongyuan Mei , Jason Eisner

摘要

神经 Hawkes 过程（Mei & Eisner, 2017）是不规则间隔的离散事件序列的生成模型。为处理具有多种事件类型的复杂领域，Mei 等人（2020a）进一步考虑一种设定，其中序列中每个事件通过领域特定的模式匹配规则更新事实的演绎数据库；未来事件则基于数据库内容条件化。他们展示了如何将此类符号系统转换为神经符号连续时间生成模型，其中每个数据库事实与可能事件具有从其符号来源导出的时变嵌入。本文中，我们修改这两个模型，将其基于循环 LSTM 的架构替换为更扁平的基于注意力的架构（Vaswani 等人，2017），后者更简单且更可并行化。这似乎未损害我们的精度，其与原始模型以及（在适用时）以往基于注意力的方法（Zuo 等人，2020；Zhang 等人，2020a）相当或更好。

关键词

神经 Hawkes 过程 Transformer 不规则间隔事件神经符号模型注意力架构

引用

@article{arxiv.2201.00044,
  title  = {Transformer Embeddings of Irregularly Spaced Events and Their Participants},
  author = {Chenghao Yang and Hongyuan Mei and Jason Eisner},
  journal= {arXiv preprint arXiv:2201.00044},
  year   = {2022}
}

备注

ICLR 2022 Final

不规则间隔事件及其参与者的 Transformer 嵌入

摘要

关键词

引用

备注

相关论文