采样温度对大语言模型问题解决能力的影响
计算与语言
2025-03-17 v3 人工智能
摘要
在这项研究中，我们实证研究了采样温度对大语言模型（LLMs）在各种问题解决任务上性能的影响。我们通过从标准 LLM 基准测试中随机抽样问题，创建了一个多项选择题问答（MCQA）考试。然后，我们使用九种流行的 LLMs 和五种提示工程技术来解决 MCQA 问题，同时将采样温度从 0.0 增加到 1.6。尽管有相反的轶事报告，我们的实证结果表明，对于问题解决任务，温度从 0.0 到 1.0 的变化对 LLM 性能没有统计上显著的影响。此外，这些结果似乎在不同 LLMs、提示工程技术和问题领域之间具有普适性。所有代码、数据和补充材料均可在 GitHub 上获取：https://github.com/matthewrenze/jhu-llm-temperature
引用
@article{arxiv.2402.05201,
title = {The Effect of Sampling Temperature on Problem Solving in Large Language Models},
author = {Matthew Renze and Erhan Guven},
journal= {arXiv preprint arXiv:2402.05201},
year = {2025}
}