一个关于纽科姆类问题中决策论推理的数据集

我们引入了一个关于所谓纽科姆类问题决策论的自然语言问题数据集。纽科姆类问题包括，例如，一个智能体与另一个相似智能体交互的决策问题，因此必须考虑到另一个智能体很可能以相似方式进行推理这一事实。评估大语言模型关于纽科姆类问题的推理能力很重要，因为基于基础模型的智能体之间的交互常常会是纽科姆类的。某些关于纽科姆类问题的推理方式可能允许模型之间进行更大程度的合作。我们的数据集包含能力问题（即具有唯一、无争议正确答案的问题）和态度问题（即决策理论家会存在分歧的问题）。我们利用该数据集对现有模型（来自OpenAI、Anthropic、Meta、GDM、Reka等的不同模型）以及经过简单提示干预的模型的决策论能力和所表达的态度及其相互作用进行了研究。我们发现，除其他事项外，不同现有模型之间的态度差异显著；高能力与更倾向于所谓证据决策理论的态度相关联；并且态度在不同类型的问题上保持一致。