基于提示的预训练语言模型用于时序知识图谱补全
计算与语言
2024-03-05 v2 人工智能
摘要
时序知识图谱补全(TKGC)是一项关键任务,涉及在已知时间戳上进行推理以补全事实的缺失部分,近年来吸引了越来越多的关注。大多数现有方法侧重于基于图神经网络学习表示,同时未能准确提取时间戳中的信息,且未充分利用关系中隐含的信息。为解决这些问题,我们提出了一种新颖的TKGC模型,即用于TKGC的带提示的预训练语言模型(PPT)。我们将一系列采样的四元组转换为预训练语言模型输入,并将时间戳之间的间隔转换为不同提示,以构成具有隐式语义信息的连贯句子。我们使用掩码策略训练模型,将TKGC任务转换为掩码词元预测任务,从而可利用预训练语言模型中的语义信息。在三个基准数据集上的实验和广泛分析表明,我们的模型在四个指标上与其他模型相比具有很强的竞争力。我们的模型能有效将时序知识图谱中的信息整合进语言模型。
引用
@article{arxiv.2305.07912,
title = {Pre-trained Language Model with Prompts for Temporal Knowledge Graph Completion},
author = {Wenjie Xu and Ben Liu and Miao Peng and Xu Jia and Min Peng},
journal= {arXiv preprint arXiv:2305.07912},
year = {2024}
}
备注
Accepted to Findings of ACL 2023