大语言模型是否意识到某些问题并非开放式的？

大语言模型（LLMs）在广泛场景中展现了令人印象深刻的问答能力。然而，当LLMs面对不同类型的问题时，值得探究的是，LLMs是否意识到某些问题的答案有限，需要更确定地回答，而另一些问题则不然。我们将其称为LLMs的问题意识。LLMs缺乏问题意识会导致两种现象：LLMs（1）在回答非开放式问题时过于随意，或（2）在回答开放式问题时过于乏味。在本文中，我们首先评估了LLMs中的问题意识。实验结果表明，LLMs在某些领域（例如事实知识）存在缺乏问题意识的问题，导致生成过程中出现幻觉。为了缓解这些问题，我们提出了一种称为问题意识温度采样（QuATS）的方法。该方法通过根据问题特征自适应调整输出分布来增强LLMs的问题意识。QuATS中的自动调整消除了文本生成中手动温度调节的需要，并在各种基准测试中持续提高了模型性能。