softmax 交叉熵与负采样的统一解释：以知识图谱嵌入为例
机器学习
2022-03-17 v4 计算与语言
机器学习
摘要
在知识图谱嵌入中，softmax 交叉熵与负采样损失函数之间的理论关系尚未被研究。这使得难以公平比较两种不同损失函数的结果。我们试图利用 Bregman 散度提供 softmax 交叉熵与负采样损失函数的统一解释来解决此问题。在此解释下，我们可以推导出用于公平比较的理论发现。在 FB15k-237 和 WN18RR 数据集上的实验结果表明，这些理论发现在实际设定中是有效的。
引用
@article{arxiv.2106.07250,
title = {Unified Interpretation of Softmax Cross-Entropy and Negative Sampling: With Case Study for Knowledge Graph Embedding},
author = {Hidetaka Kamigaito and Katsuhiko Hayashi},
journal= {arXiv preprint arXiv:2106.07250},
year = {2022}
}
备注
Accepted at ACL-IJCNLP 2021