大规模知识图谱完成嵌入模型评估
机器学习
2025-06-11 v2 人工智能
摘要
知识图谱嵌入（KGE）模型在知识图谱完成方面受到广泛关注，但其评估受到不切实际基准的限制。标准评估指标依赖封闭世界假设，对正确预测缺失三元组的模型进行惩罚，这与链接预测的根本目标相矛盾。这些指标常将准确性评估压缩为单个数值，掩盖了模型的具体优势与弱点。当前主流的评估协议——链接预测——在假设实体待预测属性的值已知的前提下运作，这一假设并不现实。虽然属性预测、实体对排序和三元组分类等替代方法解决了部分局限性，但仍未得到广泛应用。此外，常用数据集要么存在缺陷，要么规模太小，无法反映真实世界的数据。少数研究考察了调解节点的作用——这对于建模n元关系至关重要——或探讨了模型在不同领域中的性能变化。本文在大规模数据集 FB-CVT-REV 和 FB+CVT-REV 上，对四个代表性 KGE 模型进行了全面评估。我们的分析揭示了若干关键见解：小规模与大规模数据集之间在相对排名和绝对指标方面存在显著性能差异，n元关系二元化时会系统性地高估模型能力，以及当前评估协议和指标的根本局限性。
引用
@article{arxiv.2504.08970,
title = {On Large-scale Evaluation of Embedding Models for Knowledge Graph Completion},
author = {Nasim Shirvani-Mahdavi and Farahnaz Akrami and Chengkai Li},
journal= {arXiv preprint arXiv:2504.08970},
year = {2025}
}