模型有多锐利且抗偏好性如何？知识图谱完成的双重评估视角
人工智能
2025-12-09 v1
摘要
知识图谱完成（KGC）旨在预测观察到的知识图谱中缺失的事实。尽管已研究了许多 KGC 模型，但 KGC 的评估仍未得到充分探讨。本文观察到，现有指标忽略了两一关键评估视角：（A1）预测锐度——对单个预测求严格程度的程度，以及（A2）人气偏差鲁棒性——预测低人气实体的能力。为了反映这两个视角，我们提出了一种新颖的评估框架（PROBE），该框架由秩转换器（RT）和秩聚合器（RA）组成。RT 估计基于所需预测锐度水平的每个预测得分，而 RA 则以考虑人气的方式对所有得分进行聚合。在真实世界知识图谱上的实验表明，现有指标倾向于高估或低估 KGC 模型的准确性，而 PROBE 则提供了对 KGC 模型的全面理解和可靠评估结果。
引用
@article{arxiv.2512.06296,
title = {How Sharp and Bias-Robust is a Model? Dual Evaluation Perspectives on Knowledge Graph Completion},
author = {Sooho Moon and Yunyong Ko},
journal= {arXiv preprint arXiv:2512.06296},
year = {2025}
}
备注
5 pages, 4 figures, 2 tables, ACM WSDM 2026