KGxBoard：用于知识图谱补全模型评估的可解释交互式排行榜
人工智能
2022-08-24 v1
摘要
知识图谱（KGs）以（头实体、谓词、尾实体）三元组形式存储信息。为用新知识扩充 KGs，研究者提出了用于知识图谱补全（KGC）任务（如链接预测，即回答 (h; p; ?) 或 (?; p; t) 查询）的模型。此类模型通常在留出测试集上以平均指标评估。尽管有助于追踪进展，平均单分数指标无法揭示模型究竟学到了什么——或未能学到什么。为解决该问题，我们提出 KGxBoard：一个交互式框架，用于对数据中有意义子集进行细粒度评估，每个子集测试 KGC 模型的个体且可解释的能力。在我们的实验中，我们强调了借助 KGxBoard 发现的、使用标准平均单分数指标不可能检测到的结论。
引用
@article{arxiv.2208.11024,
title = {KGxBoard: Explainable and Interactive Leaderboard for Evaluation of Knowledge Graph Completion Models},
author = {Haris Widjaja and Kiril Gashteovski and Wiem Ben Rim and Pengfei Liu and Christopher Malon and Daniel Ruffinelli and Carolin Lawrence and Graham Neubig},
journal= {arXiv preprint arXiv:2208.11024},
year = {2022}
}