TECP：面向大语言模型的基于标记熵的共形预测方法
计算与语言
2025-09-08 v2 人工智能
摘要
开放式语言生成的不确定性量化（UQ）仍然是一个关键但尚未充分探索的挑战，尤其是在黑盒约束下内部模型信号不可访问的情况下。在本文中，我们引入了基于标记熵的共形预测（TECP），这是一种新颖的框架，它利用标记级熵作为无 logit、无参考的不确定性度量，并将其整合到分裂共形预测（CP）流水线中，以构建具有形式化覆盖保证的预测集。与依赖语义一致性启发式或白盒特征的方法不同，TECP 直接从采样生成的标记熵结构中估计认知不确定性，并通过 CP 分位数校准不确定性阈值，以确保可证明的误差控制。在六种大语言模型和两个基准（CoQA 和 TriviaQA）上的经验评估表明，TECP 一致地实现了可靠的覆盖和紧凑的预测集，优于先前的自一致性 UQ 方法。我们的方法为黑盒 LLM 设置中的可信生成提供了一个原则性且高效的解决方案。
引用
@article{arxiv.2509.00461,
title = {TECP: Token-Entropy Conformal Prediction for LLMs},
author = {Beining Xu and Yongming Lu},
journal= {arXiv preprint arXiv:2509.00461},
year = {2025}
}