高效知识图谱准确率评估
数据库
2019-07-24 v1
摘要
大规模知识图谱（KG）准确率的估计常需人工标注图谱中的样本。如何在保持较低人工标注成本的同时获得具有统计意义的准确率评估估计，是 KG 开发周期及其实际应用中的关键问题。令人惊讶的是，这一挑战性问题在以往研究中很大程度上被忽视。为解决该问题，本文提出一种高效采样与评估框架，旨在以强统计保证提供高质量的准确率评估，同时最小化人工投入。受实践中观测到的标注成本函数性质启发，我们提出使用整群采样以降低总体成本。我们进一步应用加权采样、两阶段采样以及分层采样以获得更优采样设计。我们还将框架扩展至演进中 KG 的高效增量评估，基于分层采样与蓄水池采样的加权变体给出两种方案。在真实数据集上的大量实验证明了所提方案的有效性与高效性。相较基线方法，我们的最佳方案在静态 KG 评估上可降本至多 60%，在演进中 KG 评估上可降本至多 80%，且不损失评估质量。
引用
@article{arxiv.1907.09657,
title = {Efficient Knowledge Graph Accuracy Evaluation},
author = {Junyang Gao and Xian Li and Yifan Ethan Xu and Bunyamin Sisman and Xin Luna Dong and Jun Yang},
journal= {arXiv preprint arXiv:1907.09657},
year = {2019}
}
备注
in VLDB 2019