FLAME：激活冻结大语言模型进行知识图谱补全
计算与语言
2026-01-30 v5
摘要
传统知识图谱补全（KGC）方法仅依赖结构信息，难以处理稀疏性问题；而大型语言模型（LLM）通过丰富的世界知识和强大的上下文建模能力克服了这些限制。微调 LLM 效果显著，但成本高昂；而不微调的 LLM 则高效但表现次优。为解决这一权衡问题，本文提出 FLAME 框架，从冻结 LLM 中间层的上下文感知隐藏状态中提取信息，以训练数据高效的 KGC 分类器。我们通过基于子图的实体描述桥接 LLM-KG 语义差距，并采用切片互信息（SMI）量化表示中的任务相关信息。实验表明，FLAME 在非微调 LLM 基线上实现 47% 的改进，并且据称是首次以 内存效率和 加速实现达到微调水平。
引用
@article{arxiv.2408.06787,
title = {FLAME: Empowering Frozen LLMs for Knowledge Graph Completion},
author = {Bo Xue and Yi Xu and Bolei Ma and Yunchong Song and Jiaxin Ding and Luoyi Fu and Xinbing Wang},
journal= {arXiv preprint arXiv:2408.06787},
year = {2026}
}