KG-FIT：基于开放世界知识的知识图谱微调
计算与语言
2024-10-29 v3 机器学习
摘要
知识图谱嵌入（KGE）技术在学习知识图谱中实体和关系的紧凑表示方面至关重要，促进了高效的推理和知识发现。虽然已有方法通常仅基于图结构训练 KGE 模型，或在 KG 中的分类数据上微调预训练语言模型，但 KG-FIT 利用 LLM 指导的细化来构建实体聚类的语义连贯的层次结构。在微调过程中，KG-FIT 融合了该层次知识以及文本信息，有效地捕获了来自 LLM 的全局语义和来自 KG 的局部语义。广泛的在 FB15K-237、YAGO3-10 和 PrimeKG 基准数据集上的实验表明，KG-FIT 在链接预测任务中相对于最先进的预训练语言模型方法，分别在 Hits@10 指标上提升了 14.4%、13.5% 和 11.9%。此外，KG-FIT 相对于其基础结构模型获得了 12.6%、6.7% 和 17.7% 的显著性能提升。这些结果凸显了 KG-FIT 在将 LLM 中的开放世界知识纳入以显著增强 KG 嵌入表达力和信息性方面的有效性。
引用
@article{arxiv.2405.16412,
title = {KG-FIT: Knowledge Graph Fine-Tuning Upon Open-World Knowledge},
author = {Pengcheng Jiang and Lang Cao and Cao Xiao and Parminder Bhatia and Jimeng Sun and Jiawei Han},
journal= {arXiv preprint arXiv:2405.16412},
year = {2024}
}
备注
NeurIPS 2024