论不确定性在大语言模型决策中的重要性

我们研究了在以自然语言为输入的决策问题中不确定性的作用。对于此类任务，使用大型语言模型作为代理已成为常态。然而，最近的方法都没有采用任何额外的阶段来估计代理在决策任务期间对世界的不确定性。我们关注一个基本的以自然语言为输入的决策框架，即上下文赌博机，其中上下文信息由文本组成。作为没有不确定性估计的方法的代表，我们考虑了一个具有贪婪策略的LLM赌博机，该策略选择对应最大预测奖励的动作。我们将此基线与通过将不确定性整合到汤普森采样策略中积极使用不确定性估计的LLM赌博机进行比较。我们采用了不同的不确定性估计技术，如拉普拉斯近似、Dropout和Epinets。我们在真实世界数据上经验性地表明，贪婪策略的性能低于汤普森采样策略。这些发现表明，尽管在LLM文献中被忽视，但不确定性在LLM的赌博机任务中起着基础性作用。