利用大型语言模型模拟实地实验

当前主流大型语言模型 (LLMs) 凭借其前所未有的内容生成和推理能力，能够模拟人类响应。然而，尚不清楚如何以及是否能够利用 LLMs 来模拟实地实验。在本文中，我们提出并评估了两种提示策略：观察者模式，允许直接预测主要结论；以及参与者模式，模拟参与者的响应分布。利用该方法，我们审视了十五篇发表于 INFORMS 和 MISQ 的被广泛引用的实地实验论文，在某些场景下发现了模拟实验结果与实际结果之间令人鼓舞的一致性。我们进一步识别了 LLMs 表现不佳的主题，包括与性别差异和社会规范相关的研究。此外，本文提出的自动化和标准化流程使得大规模筛选更多含实地实验的论文成为可能。本文开创性地利用大型语言模型 (LLMs) 模拟实地实验，是对此前仅聚焦于实验室环境工作的重大扩展。通过引入两种新型提示策略——观察者模式和参与者模式，我们展示了 LLMs 在复杂实地环境中同时预测结果和复制参与者响应的能力。我们的结果表明在某些场景下与真实实验结果具有前景性的一致性，观察者模式下实现了 66% 的模拟准确率。本研究拓展了 LLMs 的潜在应用范围，并说明了其在研究人员开展昂贵的实地实验之前提供辅助的效用。此外，它揭示了 LLMs 在模拟实地实验中的边界，为考虑将 LLMs 纳入其实验工具包的研究者提供了警示。