语言模型与人类对语言不确定性的感知

诸如“可能”或“极不可能”之类的不确定性表达在人类语言中普遍存在。尽管先前的研究已确定人类在如何定量解释这些表达方面存在群体层面的共识，但很少有研究探讨语言模型在相同情境下的能力。在本文中，我们研究了语言模型如何将语言的不确定性表达映射到数值响应。我们的方法评估了语言模型在此情境下是否能运用心智理论：理解另一个智能体对特定陈述的不确定性，而独立于模型自身对该陈述的确定性。我们发现，10个模型中有7个能够以类似人类的方式将不确定性表达映射到概率响应。然而，我们观察到，根据陈述实际为真或为假，模型的行为存在系统性差异。这种敏感性表明，语言模型更容易受到基于其先验知识的偏见影响（与人类相比）。这些发现提出了重要问题，并对人类-AI和AI-AI通信具有广泛影响。