基于排序的实体对齐或链接预测方法评估中的模糊性
机器学习
2023-09-21 v5 机器学习
摘要
在这项工作中，我们仔细审视了两类用于丰富知识图谱信息的方法的评估：链接预测（Link Prediction）与实体对齐（Entity Alignment）。在当前的实验设定中，采用多种不同的分数来评估模型性能的不同方面。我们分析了这些评估度量的信息量并指出了若干缺陷。特别地，我们证明所有现有的分数都难以用于跨不同数据集的结果比较。此外，我们证明对于实体对齐任务，测试集大小的变化会自动基于常用度量影响同一模型的性能。我们表明这会导致结果解释中的各种问题，可能支持误导性结论。因此，我们提出对评估的改进，并以经验证明这如何支持公平、可比较且可解释的性能评估。我们的代码可在 https://github.com/mberr/rank-based-evaluation 获取。
引用
@article{arxiv.2002.06914,
title = {On the Ambiguity of Rank-Based Evaluation of Entity Alignment or Link Prediction Methods},
author = {Max Berrendorf and Evgeniy Faerman and Laurent Vermue and Volker Tresp},
journal= {arXiv preprint arXiv:2002.06914},
year = {2023}
}
备注
fixed a typo on page 6, eq.8