面向知识图谱 completion 的生成式大语言模型精调：基于判别指令
计算与语言
2024-07-24 v1 人工智能
摘要
传统的知识图谱（KG） completion 模型学习嵌入来预测缺失的事实。最近的工作尝试以文本生成方式完成 KG，但需要将 LLM 的输出 grounding 到 KG 实体，这不可避免地带来错误。在本文中，我们提出了一个精调框架DIFT，旨在发掘 LLM 的 KG completion 能力并避免 grounding 错误。给定一个不完整的事实，DIFT使用轻量级模型获取候选实体，并通过判别指令对 LLM 进行精调，以从给定的候选实体中选择正确的实体。为在提高性能的同时减少指令数据，DIFT采用截断采样方法选择用于精调的有用事实，并将 KG 嵌入注入 LLM。在基准数据集上的大量实验表明，我们提出的框架有效。
引用
@article{arxiv.2407.16127,
title = {Finetuning Generative Large Language Models with Discrimination Instructions for Knowledge Graph Completion},
author = {Yang Liu and Xiaobin Tian and Zequn Sun and Wei Hu},
journal= {arXiv preprint arXiv:2407.16127},
year = {2024}
}
备注
Accepted in the 23rd International Semantic Web Conference (ISWC 2024)