基于低维知识图谱嵌入的多轮集成学习
人工智能
2021-06-01 v2
摘要
在近年的顶尖方法中，使用知识图谱嵌入（KGE）模型的链接预测因知识图谱补全而受到显著关注。迄今为止已提出多种嵌入模型，其中一些近期KGE模型通过使用高维（如1000）嵌入在链接预测任务上取得最先进性能，但考虑到KG的大规模，这加剧了训练与评估成本。本文中，我们针对KGE模型提出了一种简单而有效的性能提升策略，即在同一模型的不同重复轮次中使用多个低维嵌入。例如，与其用1200的大嵌入尺寸训练模型一次，我们改用200的嵌入尺寸并行重复训练模型6次，然后组合这6个独立模型进行测试，而可调整参数的总数相同（6*200=1200）且总内存占用保持不变。我们表明，我们的方法使不同模型能更好地应对其在建模对称、1-n、n-1和n-n等各种图模式时的表达能力问题。为证实我们的发现，我们在多种KGE模型上进行了实验。在标准基准数据集FB15K、FB15K-237和WN18RR上的实验结果表明，在相同可调整参数总数下，同种多个低维模型在某一范围内优于相应的单个高维模型，并且通过并行训练在训练效率上具有优势。
引用
@article{arxiv.2104.05003,
title = {Multiple Run Ensemble Learning with Low-Dimensional Knowledge Graph Embeddings},
author = {Chengjin Xu and Mojtaba Nayyeri and Sahar Vahdati and Jens Lehmann},
journal= {arXiv preprint arXiv:2104.05003},
year = {2021}
}
备注
Accepted by the 2021 International Joint Conference on Neural Networks (IJCNN 2021)