LogitScope：通过信息指标分析 LLM 不确定性的框架
人工智能
2026-03-27 v1 计算与语言
信息论
math.IT
摘要
理解和量化大型语言模型 (LLM) 输出的不确定性对于可靠部署至关重要。然而，传统的评估方法仅能提供有限关于模型在生成过程中各个 token 位置置信度的见解。为此，我们引入 LogitScope—a 一个通过从概率分布计算的 token 级信息指标来分析 LLM 不确定性的轻量级框架。通过测量如熵和方差熵等指标，LogitScope 揭示了模型置信度模式，识别潜在的幻觉，并暴露出模型 exhibits 高不确定性的决策点，所有这些都无需标记数据或语义解释。在包括不确定性量化、模型行为分析和生产监控等多个应用中展示了 LogitScope 的实用性。该框架具有模型无关性，通过惰性求值实现计算效率，兼容任何 HuggingFace 模型，使研究人员和实践者能够在推理期间检查 LLM 行为。
引用
@article{arxiv.2603.24929,
title = {LogitScope: A Framework for Analyzing LLM Uncertainty Through Information Metrics},
author = {Farhan Ahmed and Yuya Jeremy Ong and Chad DeLuca},
journal= {arXiv preprint arXiv:2603.24929},
year = {2026}
}