评估知识图谱嵌入的校准性以实现可信链接预测
人工智能
2020-10-07 v3 计算与语言
机器学习
摘要
人们对于知识图谱嵌入（KGE）模型所作预测的可信度知之甚少。本文朝该方向迈出初步步伐，通过研究 KGE 模型的校准性，即它们所输出置信度分数反映预测知识图谱三元组预期正确性的程度，来探讨这一问题。我们首先在标准的闭世界假设（CWA）下进行评测，其中未被知识图谱收录的预测三元组被视为假，并表明现有的校准技术在这样一种常见但狭窄的假设下对 KGE 是有效的。接下来，我们引入更贴近现实却更具挑战性的开世界假设（OWA），其中未观测到的预测在获得真值标签之前不被视为真或假。在此设定下，我们表明现有校准技术在 OWA 下的有效性远不如在 CWA 下，并为这一差异提供解释。最后，为从实践者角度说明校准对 KGE 的效用，我们进行了一项独特的人机协作案例研究，表明经过校准的预测能够提升人类在知识图谱补全任务中的表现。
引用
@article{arxiv.2004.01168,
title = {Evaluating the Calibration of Knowledge Graph Embeddings for Trustworthy Link Prediction},
author = {Tara Safavi and Danai Koutra and Edgar Meij},
journal= {arXiv preprint arXiv:2004.01168},
year = {2020}
}
备注
EMNLP 2020