科学中 AI Copilot 的可复现性：案例研究

开放科学倡议旨在使研究输出更加透明、可访问且可重用，但确保已发表发现能被独立复现仍是一个持久的挑战。本文描述了一种 AI 驱动的“可复现性 Copilot”，其分析手稿、代码和补充材料，以生成结构化的 Jupyter Notebook 和建议，以促进计算的、或“机械”式的可复现性。我们的初始结果表明，该 Copilot 有潜力显著减少复现时间（在一种情况下从超过30小时缩短至约1小时），同时实现对图表、表格和适合计算复现的结果的高覆盖率。该系统系统性地检测到可复现性障碍，包括缺失超参数值、未记录的预处理步骤以及不完整或不可访问的数据集。尽管这些发现仍属初步，但表明 AI 工具可在一定程度上减轻可复现性工作的负担，并促进更透明和可验证的科学交流。