基于链接预测的从文本中归纳实体表示

知识图谱（KG）对网络上的多种应用至关重要，包括信息检索、推荐系统和元数据标注。无论是由领域专家手动构建还是通过自动流水线构建，KG常常是不完整的。近期工作已开始探索利用知识图谱中可用的文本描述来学习实体的向量表示，以执行链接预测。然而，这些为链接预测学习的表示在多大程度上泛化到其他任务尚不清楚。鉴于学习此类表示的成本，这一点十分重要。理想情况下，我们更希望表示在迁移到不同任务时无需重新训练，同时保持合理性能。本工作中，我们提出一种针对通过链接预测目标学习的实体表示的整体评估协议。我们考虑归纳式链接预测与实体分类任务，其涉及训练时未见的实体。我们还考虑一个面向实体的搜索信息检索任务。我们评估了一种基于预训练语言模型的架构，其对训练时未观测到的实体表现出强泛化能力，并优于相关最先进方法（链接预测中MRR平均提升22%）。我们进一步提供证据表明，所学表示无需微调即可良好迁移到其他任务。在实体分类任务中，相较于同样采用预训练模型的基线，我们取得准确率平均16%的提升。在信息检索任务中，对于自然语言查询，我们在NDCG@10上获得最高8.8%的显著提升。因此我们表明，所学表示不限于KG特定任务，且具有比以往工作所评估的更强泛化特性。