通过结构上下文预训练改进知识图谱表示学习
人工智能
2021-12-09 v1
摘要
知识图谱（KG）的表示学习模型已被证明能有效编码结构信息并在KG上进行推理。本文中，我们提出了一种新颖的“预训练-微调”框架用于知识图谱表示学习，其中KG模型首先通过三元组分类任务进行预训练，然后在特定的下游任务（如实体类型预测和实体对齐）上进行判别式微调。借鉴典型预训练语言模型中学习深度上下文词表示的一般思想，我们提出了SCoP，通过编码目标三元组的结构和上下文三元组来学习预训练的KG表示。实验结果表明，微调SCoP不仅在一系列下游任务上优于基线结果，而且避免了繁琐的任务特定模型设计和参数训练。
引用
@article{arxiv.2112.04087,
title = {Improving Knowledge Graph Representation Learning by Structure Contextual Pre-training},
author = {Ganqiang Ye and Wen Zhang and Zhen Bi and Chi Man Wong and Chen Hui and Huajun Chen},
journal= {arXiv preprint arXiv:2112.04087},
year = {2021}
}
备注
Accepted to IJCKG 2021