KScale：面向语言模型知识状态的框架
计算与语言
2025-10-17 v2 人工智能
机器学习
摘要
刻画大型语言模型（LLM）对给定问题的知识状态具有挑战性。因此，先前的工作主要考察了LLM在知识冲突情境下的行为，即模型的内部参数记忆与外部上下文中的信息相矛盾。这并不完全反映模型对问题答案的了解程度。本文首先引入一种基于LLM知识模式一致性和正确性的五类知识状态分类。随后，我们提出KScale，一套分层统计检验框架，逐步细化关于知识模式的假设，并将LLM知识刻画为上述五种状态之一。我们将KScale应用于九个LLM以及四个数据集，并系统性地确立：（1）支持性上下文跨模型缩小知识差距。（2）与难度、相关性和熟悉度相关的上下文特征驱动知识更新的成功。（3）LLMs在部分正确或冲突时表现出相似的特征偏好，但在持续错误时表现出明显差异。（4）受我们特征分析约束的上下文总结，以及增强的可信度，进一步提高了更新效果，并在LLMs之间具有良好的概括性。
引用
@article{arxiv.2506.07458,
title = {KScope: A Framework for Characterizing the Knowledge Status of Language Models},
author = {Yuxin Xiao and Shan Chen and Jack Gallifant and Danielle Bitterman and Thomas Hartvigsen and Marzyeh Ghassemi},
journal= {arXiv preprint arXiv:2506.07458},
year = {2025}
}
备注
Accepted by NeurIPS 2025