MKGL：掌握三词语言
机器学习
2024-10-15 v2 人工智能
摘要
大型语言模型 (LLM) 在自然语言处理 (NLP) 任务中取得显著进步。然而，其应用于知识图谱 (KG)，后者以三元组形式描述事实并可实现最小幻觉，仍是一个备受关注的前沿领域。本文我们通过引入专门的知识图谱语言 (KGL) 来探索 LLM 与 KG 的集成，其中句子精确地由实体名词、关系动词构成，后以另一个实体名词结束。尽管 KGL 对 LLM 来说语言熟悉度不高，我们通过量身定制的词典和示例句子来促进其学习，并通过实时 KG 上下文检索和 KGL token 嵌入增强来提高上下文理解能力。我们的结果表明，LLM 能够在 KGL 上实现流畅的表达，显著降低了与常规 KG 嵌入方法在 KG 完成任务中的错误率。此外，我们的增强型 LLM 在给定初始实体生成准确的三词句子方面表现出色，能够解码 KG 之外的全新未见词汇。
引用
@article{arxiv.2410.07525,
title = {Offline Inverse Constrained Reinforcement Learning for Safe-Critical Decision Making in Healthcare},
author = {Nan Fang and Guiliang Liu and Wei Gong},
journal= {arXiv preprint arXiv:2410.07525},
year = {2024}
}