大语言模型校准的影响因素：响应一致性、损失函数与提示风格的研究

校准是指模型置信度与预测准确性之间的对齐，是大语言模型（LLM）可靠部署的关键因素。现有研究忽略了对其他提示风格和不同规模LLM通用性的衡量。为此，我们构建了一个覆盖12个LLM和4种提示风格的受控实验环境。此外，我们还探讨了是否可以通过整合多个LLM的响应一致性和合适的损失函数来提高校准性能。具体而言，我们构建了Calib-n框架，该框架训练一个辅助模型用于置信度估计，该模型聚合来自多个LLM的响应，以捕捉模型间的一致性。为优化校准，我们在二元交叉熵损失中集成了焦点损失和AUC替代损失。跨四个数据集的实验表明，响应一致性和焦点损失均优于基线方法改善了校准性能。我们发现，少量样本提示是辅助模型方法中最有效的，且辅助模型在准确率变化下表现出稳健的校准性能，优于LLM的内部概率和言说置信度。这些发现深化了对大语言模型校准影响因素的理解，支持其在多样化应用中的可靠部署。