自动化社会科学：语言模型作为科学家与受试者
综合经济学
2024-04-26 v2 经济学
摘要
我们提出了一种自动生成和体外测试社会科学假设的方法。这种自动化得益于大型语言模型（LLM）的最新进展，但其关键特征在于使用结构因果模型。结构因果模型为表述假设、构建 LLM 代理、设计实验以及规划数据分析提供了语言。拟合后的结构因果模型成为可用于预测或规划后续实验的可用对象。我们通过几个场景演示了这一方法：谈判、 bail hearing、职业面试和拍卖。在每种情况下，系统均提出并测试因果关系，发现部分得到证实，另一些则未得到证实。我们提供证据表明，这些社交互动的洞察并非仅通过直接询问 LLM 即可获得。当给出其为每个场景提出的结构因果模型后，LLM 在预测估计效应的符号方面表现良好，但无法可靠地预测这些估计值的大小。在拍卖实验中，体外模拟结果与拍卖理论预测相吻合，但 LLM 所预测的撮合价格不准确。然而，如果模型能够以拟合后的结构因果模型为条件，LLM 的预测将显著改善。总之，LLM 知道的比它能（立即）告诉人的要多。
引用
@article{arxiv.2404.11794,
title = {Automated Social Science: Language Models as Scientist and Subjects},
author = {Benjamin S. Manning and Kehang Zhu and John J. Horton},
journal= {arXiv preprint arXiv:2404.11794},
year = {2024}
}