阅读论文、编写代码：基于智能体的社会科学结果再现
人工智能
2026-04-27 v1
摘要
近期研究利用 LLM 智能体在获取数据与代码的情况下复现社会科学实证结果。我们拓展研究范围，提出：仅凭论文方法描述和原始数据，是否可实现复现？我们构建一种智能体再现系统，从论文中提取结构化方法描述，在严格的信息隔离下运行重实现——智能体永远看不到原始代码、结果或论文——并实现对再现输出与原始结果的确定性、单元级比较。引入错误归因步骤，将差异通过系统链条追溯以识别根本原因。我们评估了四种智能体框架和四个 LLM 在 48 篇经人类验证可复现性的论文上的表现，发现智能体在很大程度上能够恢复已发表结果，但模型、框架和论文之间的表现差异显著。根本原因分析表明，失败源于智能体错误以及论文本身的欠规约。
引用
@article{arxiv.2604.21965,
title = {Read the Paper, Write the Code: Agentic Reproduction of Social-Science Results},
author = {Benjamin Kohler and David Zollikofer and Johanna Einsiedler and Alexander Hoyle and Elliott Ash},
journal= {arXiv preprint arXiv:2604.21965},
year = {2026}
}