知识图谱嵌入上的置信度感知自语义蒸馏

知识图谱嵌入（KGE）将实体和关系投影到连续向量空间中，已引起显著关注。尽管高维 KGE 方法提供更好性能，却以大量计算和内存开销为代价。降低嵌入维度会显著恶化模型性能。虽然近期若干工作利用知识蒸馏或非欧几里得表示学习来增强低维 KGE 的有效性，但它们要么需要预训练的高维教师模型，要么涉及复杂的非欧几里得操作，从而带来可观的额外计算成本。为此，本文提出置信度感知自知识蒸馏（CSD），从模型自身学习以增强低维空间中的 KGE。具体而言，CSD 从先前迭代的嵌入中提取知识，用于监督模型在后续迭代中的学习。此外，设计了一个特定的语义模块，通过估计已学嵌入的置信度来过滤可靠知识。这一简单策略规避了对耗时的教师模型预训练的需求，并可集成到多种 KGE 方法中以提升其性能。我们在六个 KGE 主干网络和四个数据集上的综合实验凸显了所提 CSD 的有效性。