重新审视开放世界假设下的知识图谱评估
人工智能
2022-09-20 v1 机器学习
机器学习
摘要
大多数知识图谱（KG）是不完整的，这催生了自动补全知识图谱这一重要研究课题。然而，知识图谱补全（KGC）模型的评估常忽略不完整性——测试集中的事实需针对所有未知三元组排序，而这些未知三元组可能包含大量尚未纳入 KG 的缺失事实。将所有未知三元组视为假称为封闭世界假设。该封闭世界假设可能对评估指标的公平性与一致性产生负面影响。本文在更现实的设定即开放世界假设下研究 KGC 评估，其中未知三元组被认为包含许多未纳入训练或测试集的缺失事实。对于当前最常用的如平均倒数排名（MRR）与 Hits@K 等指标，我们指出其在开放世界假设下的表现可能出乎意料。具体而言，在缺失事实不多时，其数值相对于模型的真实能力呈对数趋势，因此指标增长在反映模型真实改进上可能并不显著。进一步考虑方差，我们展示报告数值的退化可能导致不同模型间错误比较，即更强模型的指标数值可能更低。我们从理论与实验两方面验证了该现象。最后，我们给出该问题的可能成因与解决方案。我们的代码与数据见 https://github.com/GraphPKU/Open-World-KG 。
引用
@article{arxiv.2209.08858,
title = {Rethinking Knowledge Graph Evaluation Under the Open-World Assumption},
author = {Haotong Yang and Zhouchen Lin and Muhan Zhang},
journal= {arXiv preprint arXiv:2209.08858},
year = {2022}
}
备注
Accepted at NeurIPS 2022