机器中的信念：探究语言模型的认识论盲点

随着语言模型（LM）成为医疗、法律和新闻等领域不可或缺的一部分，它们区分事实、信念和知识的能力对于可靠的决策至关重要。未能把握这些区别可能导致在医疗诊断、法律判决和虚假新闻传播等领域产生严重后果。尽管如此，现有文献主要关注心智理论等更复杂的问题，而忽视了更基本的认识论挑战。本研究使用一个包含 13 个任务、13,000 个问题的新数据集 KaBLE，系统评估了现代语言模型（包括 GPT-4、Claude-3 和 Llama-3）的认识推理能力。我们的结果揭示了关键局限性。首先，虽然语言模型在事实场景中达到 86% 的准确率，但在虚假场景中，尤其是在与信念相关的任务中，其性能显著下降。其次，语言模型在识别和确认个人信念方面存在困难，特别是当这些信念与事实数据相矛盾时，这引发了对其在医疗和咨询等应用中（在这些应用中，处理个人信念至关重要）的担忧。第三，我们识别出语言模型在处理第一人称与第三人称信念时存在显著偏差，在第三人称任务（80.7%）上的表现优于第一人称任务（54.4%）。第四，语言模型缺乏对知识的事实性本质（即知识固有地要求真实性）的稳健理解。第五，语言模型依赖语言线索进行事实核查，有时会绕过更深层次的推理。这些发现突显了当前语言模型在推理真理、信念和知识方面的能力存在重大关切，同时强调了在关键领域广泛部署之前，在这些方面取得进展的必要性。