将结构化句子与时间增强 BERT 结合用于全归纳式时间关系预测
计算与语言
2023-04-11 v1 人工智能
摘要
不完整时间知识图谱（TKGs）中的时间关系预测是传导与归纳设定下均流行的时态知识图谱补全（TKGC）问题。传统的基于嵌入的 TKGC 模型（TKGE）依赖结构化连接且只能处理固定实体集合，即传导设定。在测试 TKG 包含涌现实体的归纳设定中，最新方法基于符号规则或预训练语言模型（PLMs）。然而，它们分别受限于不灵活和不具时间特定性。本工作中，我们将训练与测试集实体完全不相交的全归纳设定扩展到 TKG，并进一步迈向更灵活且时间敏感的时态关系预测方法 SST-BERT，即结合结构化句子与时间增强 BERT。我们的模型可通过编码结构化句子获取实体历史并在语义空间中隐式学习规则，解决不灵活问题。我们提出使用时间掩码 MLM 任务在专为 TKG 生成的富含时间词符的语料上预训练 BERT，增强 SST-BERT 的时间敏感性。为计算目标四元组出现的概率，我们从时间和语义两个视角将其所有结构化句子聚合成一个分数。在传导数据集和新生成的完全归纳基准上的实验表明，SST-BERT 成功优于最先进的基线。
引用
@article{arxiv.2304.04717,
title = {Incorporating Structured Sentences with Time-enhanced BERT for Fully-inductive Temporal Relation Prediction},
author = {Zhongwu Chen and Chengjin Xu and Fenglong Su and Zhen Huang and Yong Dou},
journal= {arXiv preprint arXiv:2304.04717},
year = {2023}
}