KGrEaT：一种通过下游任务评估知识图谱的框架

近年来，无数研究论文探讨了知识图谱的创建、扩展或补全，以构建更大、更正确或更丰富的知识图谱。此类研究通常基于如下论点：使用这种增强的知识图谱来解决下游任务将提升性能。然而，这一点几乎从未被评估。相反，主流的评估指标——旨在衡量正确性与完整性——无疑具有价值，但未能捕捉全貌，即所创建或增强的知识图谱实际有多大用处。此外，此类知识图谱的可访问性很少被考虑（例如，是否包含表达性标签、描述以及足够的上下文信息以将文本提及链接到知识图谱的实体）。为了更好地判断知识图谱在实际任务上的表现，我们提出 KGrEaT——一种通过分类、聚类或推荐等实际下游任务来估计知识图谱质量的框架。KGrEaT 的目的不是比较处理知识图谱的多种方法在单一任务上的表现，而是在固定任务设置下评估多个知识图谱本身以进行比较。该框架以知识图谱为输入，自动将其映射到待评估的数据集，并计算所定义任务的性能指标。它以模块化方式构建，可轻松扩展额外的任务与数据集。