曲线下的不确定性：基于推理大语言模型的序列级熵面积度量
人工智能
2025-08-29 v1
摘要
本文介绍了熵面积得分（Entropy Area Score, EAS），这是一种简洁且有效的度量方法，用于量化推理大语言模型（LLM）在答案生成过程中的不确定性。EAS无需外部模型或重复抽样，即可通过整合模型自身的基于标记的预测熵来捕捉生成过程中不确定性的演变。实证结果表明，EAS与答案熵之间高度相关，适用于不同模型和数据集。 在训练数据选择中，EAS识别高潜力样本， 在相同样本预算下均优于通过率过滤，显著提升了学生模型在数学基准测试中的准确率。EAS既高效又可解释，为LLM训练中的不确定性建模和数据质量评估提供了实用工具。
引用
@article{arxiv.2508.20384,
title = {Uncertainty Under the Curve: A Sequence-Level Entropy Area Metric for Reasoning LLM},
author = {Yongfu Zhu and Lin Sun and Guangxiang Zhao and Weihong Lin and Xiangzheng Zhang},
journal= {arXiv preprint arXiv:2508.20384},
year = {2025}
}
备注
Under review for AAAI 2026