将光引入黑暗：统一框架下知识图谱嵌入模型的大规模评估
机器学习
2021-11-02 v5 人工智能
机器学习
摘要
近期发表的知识图谱嵌入模型在实现、训练和评估上的异质性使得公平且彻底的对比十分困难。为评估已发表结果的可复现性，我们在 PyKEEN 软件包中重新实现并评估了 21 个交互模型。在此我们概述了哪些结果可用其报告的超参数复现、哪些仅能用替代超参数复现、哪些完全无法复现，并针对可能原因提供见解。随后我们在四个数据集上进行了大规模基准测试，包含数千次实验和 24,804 GPU 小时的计算时间。我们提出了关于最佳实践、各模型最佳配置以及相较已发表最佳配置可改进之处所得的见解。我们的结果强调，模型架构、训练方法、损失函数以及对逆关系的显式建模的组合对模型性能至关重要，而非仅由模型架构决定。我们提供证据表明，若干架构在精心配置下可获得与 state-of-the-art 相竞争的结果。我们已将导致我们解读的所有代码、实验配置、结果和分析发布于 https://github.com/pykeen/pykeen 和 https://github.com/pykeen/benchmarking
引用
@article{arxiv.2006.13365,
title = {Bringing Light Into the Dark: A Large-scale Evaluation of Knowledge Graph Embedding Models Under a Unified Framework},
author = {Mehdi Ali and Max Berrendorf and Charles Tapley Hoyt and Laurent Vermue and Mikhail Galkin and Sahand Sharifzadeh and Asja Fischer and Volker Tresp and Jens Lehmann},
journal= {arXiv preprint arXiv:2006.13365},
year = {2021}
}