自我感知知识探测：通过置信度校准评估语言模型的关系知识
计算与语言
2026-01-28 v1
摘要
知识探测量化了语言模型在预训练期间获取了多少关系知识。现有的知识探测通过预测准确率和精确率等指标来评估模型能力。这类评估未能考虑到模型的可靠性，这反映在其置信度分数的校准上。在本文中，我们提出了一个新颖的关系知识校准探测框架，涵盖模型置信度的三种模态：（1）内在置信度，（2）结构一致性，以及（3）语义基础。我们对十个因果语言模型和六个掩码语言模型的广泛分析表明，大多数模型，尤其是那些使用掩码目标预训练的模型，都过于自信。校准得最好的分数来自于考虑了因陈述改写而导致的不一致性的置信度估计。此外，即使是最大的预训练模型也无法准确编码语言置信度表达的语义。
引用
@article{arxiv.2601.18901,
title = {Self-Aware Knowledge Probing: Evaluating Language Models' Relational Knowledge through Confidence Calibration},
author = {Christopher Kissling and Elena Merdjanovska and Alan Akbik},
journal= {arXiv preprint arXiv:2601.18901},
year = {2026}
}