蒙特卡洛温度：LLM不确定性量化方法的鲁棒采样策略
计算与语言
2025-04-10 v2
摘要
大语言模型（LLMs）中的不确定性量化（UQ）对其安全可靠部署至关重要，特别是在错误输出可能带来严重后果的关键应用中。当前UQ方法通常依赖使用非零温度采样多次查询模型以生成多样化输出用于不确定性估计。然而，选择给定温度参数的影响尚未得到充分研究，我们的分析揭示温度在不确定性估计质量中起着基础性作用。识别最优温度值的传统方法需要昂贵的超参数优化（HPO），且必须针对每个新的模型-数据集组合重复进行。我们提出蒙特卡洛温度（MCT），一种消除温度校准需求的鲁棒采样策略。我们的分析揭示：1）MCT在广泛的温度范围内提供更鲁棒的不确定性估计；2）MCT通过替代不依赖HPO的固定温度策略来提升UQ方法的性能；3）MCT在统计上与神谕温度达到同等水平，后者代表经过良好调优但计算昂贵的HPO过程的理想结果。这些发现表明，无需温度参数校准的计算负担即可实现有效的UQ。
引用
@article{arxiv.2502.18389,
title = {Monte Carlo Temperature: a robust sampling strategy for LLM's uncertainty quantification methods},
author = {Nicola Cecere and Andrea Bacciu and Ignacio Fernández Tobías and Amin Mantrach},
journal= {arXiv preprint arXiv:2502.18389},
year = {2025}
}