使用语言模型估计文本温度
计算与语言
2026-03-17 v2
摘要
自回归语言模型在推理时通常使用温度参数以塑造概率分布，控制生成文本的随机性。生成文本后，可采用最大似然法估计该参数。基于此，我们提出了一种用于估计任何文本（包括人类撰写的文本）相对于给定语言模型温度的程序。我们评估了广泛的中小型大型语言模型（LLM）在温度估计方面的性能。随后，我们利用表现最佳的Qwen3 14B模型，对流行语料库进行温度估计，发现大多数测得的温度接近1，唯有笑话（Jokes）、GSM8K和AG News（1.1），以及Python代码（0.9）等具有显著偏离。
引用
@article{arxiv.2601.02320,
title = {Estimating Text Temperature with Language Models},
author = {Nikolay Mikhaylovskiy},
journal= {arXiv preprint arXiv:2601.02320},
year = {2026}
}