Bi-Link：通过Transformer与提示的对比学习桥接基于文本的归纳式链接预测
计算与语言
2022-10-27 v1
摘要
归纳式知识图谱补全要求模型理解潜在的语义与关系逻辑模式。随着预训练语言模型的发展，近期的研究设计了用于链接预测任务的Transformer。然而，实证研究表明，将三元组线性化会影响关系模式(如逆与对称)的学习。在本文中，我们提出了Bi-Link，一种带有概率语法提示的链接预测对比学习框架。利用BERT的语法知识，我们根据学习到的、可泛化到大型知识图谱的句法模式高效搜索关系提示。为了更好地表达对称关系，我们设计了一个对称链接预测模型，建立了前向预测与后向预测之间的双向链接。这种双向链接在测试时适应灵活的自集成策略。在我们的实验中，Bi-Link在链接预测数据集(WN18RR、FB15K-237和Wikidata5M)上优于近期的基线。此外，我们构建了Zeshel-Ind作为一个域内归纳实体链接环境来评估Bi-Link。实验结果表明，我们的方法生成了鲁棒的表示，能够在域偏移下泛化。
引用
@article{arxiv.2210.14463,
title = {Bi-Link: Bridging Inductive Link Predictions from Text via Contrastive Learning of Transformers and Prompts},
author = {Bohua Peng and Shihao Liang and Mobarakol Islam},
journal= {arXiv preprint arXiv:2210.14463},
year = {2022}
}
备注
10 pages