以连接偏向注意力取代路径用于知识图谱补全
机器学习
2025-04-10 v4
摘要
知识图谱（KG）补全旨在从 KG 中现有事实中推断出可推断的额外事实。近期研究探索了这一任务在归纳设置中的情况，即在测试时间我们看到的是在训练期间未出现的实体；该设置下最高性能的模型采用了除标准子图编码模块之外的路径编码模块。本工作同样关注 KG 在归纳设置下的补全，不使用显式的路径编码，这些编码可能耗时且引入需要昂贵超参数优化的多个超参数。我们的做法仅使用基于 Transformer 的子图编码模块；我们引入连接偏向注意力和实体角色嵌入到子图编码模块中，以消除昂贵且耗时的路径编码模块的需求。在标准归纳 KG 补全基准数据集上的评估表明，我们的 \textbf{C}onnection-\textbf{B}iased \textbf{Li}nk \textbf{P}rediction（CBLiP）模型在不使用路径信息的模型中表现优于这些模型。与使用路径信息的模型相比，CBLiP 在速度上具有竞争力或更好的性能。此外，为了表明连接偏向注意力和实体角色嵌入的有效性也适用于归纳设置，我们比较了 CBLiP 在归纳设置下的关系预测任务中的性能。
引用
@article{arxiv.2410.00876,
title = {Replacing Paths with Connection-Biased Attention for Knowledge Graph Completion},
author = {Sharmishtha Dutta and Alex Gittens and Mohammed J. Zaki and Charu C. Aggarwal},
journal= {arXiv preprint arXiv:2410.00876},
year = {2025}
}