AMCEN：基于注意力掩码的对比事件网络用于双阶段时序知识图谱推理
机器学习
2024-05-20 v1 人工智能
摘要
时序知识图谱（TKGs）能够有效地建模现实知识的不断演变，其完整性和增强可以通过从现有事件中推理出新事件来实现。然而，由于数据集中新事件与重复事件之间的不平衡，推理准确率受到影响。为实现更准确的TKG推理，我们提出了一种基于注意力掩码的对比事件网络（AMCEN），用于双阶段预测未来事件。该网络中设计了历史注意力掩码向量和非历史注意力掩码向量，以控制对历史实体和非历史实体注意力的偏好，从而作为缓解不平衡的关键。提出了一种局部-全局消息传递模块，用于全面考虑和捕获多跳结构依赖和局部-全局时间演化，以深入探索不同事件类型的潜在影响因素。使用对比学习将局部-全局时间模式纳入对比事件分类器，以实现更准确的事件分类。因此，AMCEN以对比事件分类的结果为预测范围提供精炼，然后利用基于注意力掩码的解码器最终确定具体结果。我们在四个基准数据集上的实验结果表明，AMCEN的优势尤其体现在Hits@1指标上的显著提升，证明AMCEN能够对未来事件的发生作出更精确的预测。
引用
@article{arxiv.2405.10346,
title = {AMCEN: An Attention Masking-based Contrastive Event Network for Two-stage Temporal Knowledge Graph Reasoning},
author = {Jing Yang and Xiao Wang and Yutong Wang and Jiawei Wang and Fei-Yue Wang},
journal= {arXiv preprint arXiv:2405.10346},
year = {2024}
}