KG-BiLM：基于双向语言模型的知识图谱嵌入
计算与语言
2025-06-05 v1 人工智能
摘要
近期的知识表征学习（KRL）进展凸显了将符号知识图谱（KGs）与语言模型（LMs）统一的迫切需求，以实现更丰富的语义理解。然而，现有方法通常侧重图结构或文本语义，留下了这样一个 gap：缺乏一种统一框架，能够同时捕获全局 KG 连通性、细致的语言上下文以及判别性的推理语义。为弥合这一 gap，我们引入 KG-BiLM，一个基于双向语言模型的框架，将 KGs 中的结构线索与生成式 transformer 的语义表达力相融合。KG-BiLM 包含三个关键组件：（i）双向知识注意力（Bidirectional Knowledge Attention），通过移除因果掩码实现所有 token 与实体之间的完全交互；（ii）知识掩码预测（Knowledge-Masked Prediction），鼓励模型利用本地语义上下文和全局图连通性；（iii）对比图语义聚合（Contrastive Graph Semantic Aggregation），通过对抽样子图表示的对比对齐来保持 KG 结构。大量实验在标准基准测试上表明，KG-BiLM 在链路预测任务中优于强大基线，尤其在大规模图谱上表现突出，后者包含复杂的多跳关系——这验证了其在统一结构信息和文本语义方面的有效性。
引用
@article{arxiv.2506.03576,
title = {KG-BiLM: Knowledge Graph Embedding via Bidirectional Language Models},
author = {Zirui Chen and Xin Wang and Zhao Li and Wenbin Guo and Dongxiao He},
journal= {arXiv preprint arXiv:2506.03576},
year = {2025}
}