打破知识图谱嵌入中的秩瓶颈
人工智能
2025-09-30 v2 机器学习
摘要
许多知识图谱嵌入（KGE）模型用于链接预测都使用强大的编码器。然而，它们常常依赖简单的隐藏向量-矩阵乘法来对主体-关系查询与候选对象实体进行评分。当实体数量大于模型嵌入维度时（这在实际中常常高出多个数量级），我们得到一个线性输出层，存在秩瓶颈。此类瓶颈层限制了模型的表达能力。我们从理论和实证两个角度研究秩瓶颈如何影响KGE。我们发现，秩瓶颈限制了可行预测的集合，损害了排序准确性和得分分布忠实度。鼓励地，我们参考语言建模文献，提出KGE-MoS，一种基于混合的输出层，用于打破许多KGE中的秩瓶颈。我们的实验表明，KGE-MoS在低参数成本下提高了大规模数据集上KGE模型的排序性能。
引用
@article{arxiv.2506.22271,
title = {Breaking Rank Bottlenecks in Knowledge Graph Embeddings},
author = {Samy Badreddine and Emile van Krieken and Luciano Serafini},
journal= {arXiv preprint arXiv:2506.22271},
year = {2025}
}