温控分类器：温度缩放的一些基本性质

温度缩放是一种简单的方法，可以控制概率模型的不确定性。它主要用于两个场景：改进分类器的校准和调节大型语言模型（LLMs）的随机性。在这两种情况下，温度缩放都是最流行的方法。尽管其流行，但对温度缩放性质的严格理论分析仍然难以捉摸。我们在此研究其中一些性质。对于分类，我们证明增加温度会在非常普遍的意义上增加模型的不确定性（特别是增加其熵）。然而，对于LLMs，我们质疑了“增加温度会增加多样性”这一常见说法。此外，我们引入了温度缩放的两种新刻画。第一种是几何刻画：温度调节后的模型被证明是原始模型在具有给定熵的模型集合上的信息投影。第二种刻画阐明了温度缩放作为更一般的线性缩放器（如矩阵缩放和狄利克雷校准）的子模型的作用：我们证明温度缩放是唯一不改变模型硬预测的线性缩放器。