知识图谱表示学习中负采样的综合分析
机器学习
2022-07-08 v2 人工智能
计算与语言
社会与信息网络
摘要
负采样（NS）损失在学习知识图谱嵌入（KGE）以处理海量实体时起着重要作用。然而，若 NS 损失中的间隔项（margin term）和负样本数量等超参数未被恰当选择，KGE 的性能会下降。目前，经验性超参数调优以计算时间为代价来解决该问题。为解决此问题，我们从理论上分析了 NS 损失，以辅助超参数调优并理解 KGE 学习中 NS 损失的更好用法。我们的理论分析表明，具有受限值域的打分方法（如 TransE 和 RotatE）需要与无受限值域的方法（如 RESCAL、ComplEx 和 DistMult）不同的间隔项或负样本数量的适当调整。我们还从理论角度提出了专用于 KGE 中 NS 损失的子采样方法。我们在 FB15k-237、WN18RR 和 YAGO3-10 数据集上的实证分析表明，实际训练模型的结果与我们的理论发现一致。
引用
@article{arxiv.2206.10140,
title = {Comprehensive Analysis of Negative Sampling in Knowledge Graph Representation Learning},
author = {Hidetaka Kamigaito and Katsuhiko Hayashi},
journal= {arXiv preprint arXiv:2206.10140},
year = {2022}
}
备注
Accepted at ICML2022