GRADE：通过梯度子空间动力学探测LLM中的知识缺口
计算与语言
2026-04-15 v2
摘要
检测模型内部知识是否足以正确回答给定问题，是部署负责任LLM的基本挑战。除了LLM自报告的置信度表达外，近年来的方法还探索模型内部，如响应token的隐藏状态，以捕捉激活了多少知识。我们认为，这种被激活的知识可能与查询所需的不一致，例如捕捉了对回答查询无信息量的风格和长度相关特征。为了填补这一空白，我们提出了GRADE（Gradient Dynamics for knowledge gap detection），通过梯度与对应隐藏状态子空间的跨层秩比率来量化知识缺口。这一方法受到梯度作为给定目标所需知识更新估计量这一特性的启发。我们在六个基准上验证了GRADE，证明了其有效性和对输入扰动的鲁棒性。此外，我们展示了一个案例研究，说明梯度链如何为长文本回答生成可解释的知识缺口解释。
引用
@article{arxiv.2604.02830,
title = {GRADE: Probing Knowledge Gaps in LLMs through Gradient Subspace Dynamics},
author = {Yujing Wang and Yuanbang Liang and Yukun Lai and Hainan Zhang and Hanqi Yan},
journal= {arXiv preprint arXiv:2604.02830},
year = {2026}
}