InfuserKI：通过 Infuser 引导的知识集成增强大型语言模型的知识图谱能力

大型语言模型（LLMs）在各领域的开放生成任务中取得了卓越的能力，但在需要密集知识的任务中仍面临困难。为应对这些挑战，人们开发了知识集成方法，通过外部模块利用特定领域的知识图谱增强 LLM。然而，这些方法面临数据效率低下的问题，因为它们需要对已知和未知知识进行处理以进行微调。因此，我们的研究聚焦于一个新问题：如何在不必要地重叠已知知识的情况下，将未知知识高效地集成到 LLM 中。引入新知识的一个风险是可能导致现有知识的遗忘。为了缓解这一风险，我们提出了创新的 {\method} 框架。该框架利用 Transformer 内部状态来确定何时用额外信息丰富 LLM 的输出，从而有效防止知识遗忘。使用 UMLS-2.5k 和 MetaQA 领域知识图谱的性能评估表明，{\method} 不仅成功集成了新知识，而且优于最先进的基线模型，分别将知识遗忘率降低了 9% 和 6%。