概率几何？语言模型具备概率推理能力

语言模型（LM）能够执行极其复杂的语言任务；然而，数值推理是它们经常遇到困难的领域。一种重要但很少被评估的推理形式是理解概率分布。在本文中，我们专注于使用理想化和真实世界的统计分布来评估LM的概率推理能力。我们对最先进的LM在三个任务上进行了系统评估：估计百分位数、抽取样本和计算概率。我们评估了为LM提供上下文的三种方式：1）来自分布或分布族内的锚定示例，2）真实世界上下文，3）用于正态近似的汇总统计。模型可以对分布进行推理，并且可以通过结合真实世界上下文、示例和简化假设（即使这些假设不正确或指定错误）得到进一步帮助。为了开展这项工作，我们开发了一个全面的基准分布数据集，其中包含相关的问答对，并已公开发布。