Sem@$K$：我的知识图谱嵌入模型是否具有语义感知能力？
机器学习
2023-12-08 v2 人工智能
摘要
使用知识图谱嵌入模型（KGEMs）是预测知识图谱（KGs）中链接的流行方法。传统上，KGEMs 在链接预测上的性能通过基于排名的指标来评估，这些指标衡量模型为真实实体赋予高分的能力。然而，文献指出，KGEM 的评估过程将受益于增加补充的评估维度。正因如此，本文扩展了我们先前提出的指标 Sem@K，该指标衡量模型根据定义域和值域约束预测有效实体的能力。具体而言，我们考虑了广泛的知识图谱，并依据它们各自的特征，提出了不同版本的 Sem@K。我们还进行了一项广泛的研究，以评估由我们的指标所衡量的 KGEMs 的能力。我们的实验表明，Sem@K 为 KGEM 的质量提供了一个新的视角。将其与基于秩的指标进行联合分析，能对模型的预测能力得出不同的结论。就 Sem@K 而言，某些 KGEMs 天生优于其他模型，但这种语义上的优越性并不代表它们在基于秩的指标上的表现。在这项工作中，我们在模型族层面，对 KGEMs 在基于秩的指标和面向语义的指标上的相对性能得出了概括性结论。对上述指标的联合分析，能更深入地洞察每个模型的特性。这项工作为更全面地评估 KGEM 对特定下游任务的适用性铺平了道路。
引用
@article{arxiv.2301.05601,
title = {Sem@$K$: Is my knowledge graph embedding model semantic-aware?},
author = {Nicolas Hubert and Pierre Monnin and Armelle Brun and Davy Monticolo},
journal= {arXiv preprint arXiv:2301.05601},
year = {2023}
}