自注意力为链接预测提供低维知识图谱嵌入
机器学习
2022-11-29 v3 人工智能
摘要
已有少数模型尝试通过将知识图谱嵌入到相对较低的维度中来解决链接预测问题（也称为知识图谱补全）。然而，当前最优结果是以显著增加嵌入维度为代价取得的，这在大型知识库的情况下会引发可扩展性问题。近年来，Transformer 已作为强大的知识图谱编码器被成功使用，但现有模型仍存在可扩展性问题。为应对这一局限，我们提出了一种基于 Transformer 的模型，以获得具有表达力的低维嵌入。我们利用大量自注意力头作为关键，应用依赖于查询的投影来捕获实体与关系之间的互信息。在 WN18RR 和 FB15k-237 这两个标准链接预测基准上的实证结果表明，我们的模型与当前最优模型具有相当且令人满意的性能。值得注意的是，与近期五种最佳最优竞争对手相比，我们以平均 66.9% 的嵌入维度大幅缩减取得了这些有前景的结果。
引用
@article{arxiv.2112.10644,
title = {Self-attention Presents Low-dimensional Knowledge Graph Embeddings for Link Prediction},
author = {Peyman Baghershahi and Reshad Hosseini and Hadi Moradi},
journal= {arXiv preprint arXiv:2112.10644},
year = {2022}
}
备注
14 pages, 3 figure, 6 tables