开放科学在人工智能中的惊人效用：一项复制研究

科学界已报告存在可重复性危机，但其对人工智能研究的影响尚未完全理解。因此，我们进行了一项系统的复制研究，包括30篇高度引用的AI研究文献，尽可能使用原始材料。在最终结果中，八篇文章因数据或硬件获取困难而被拒收。六篇文章成功复制，五篇文章部分复制。总体而言，50%的文章实现了一定程度的复制。代码和数据的可用性与可重复性呈强相关性——86%共享代码和数据的文章实现了完全或部分复制，而仅共享数据的文章中仅有33%实现了复制。数据文档的质量与成功复制呈相关性。文档不完整或数据规格不明确的资料可能导致复制失败。令人惊讶的是，代码文档的质量并不与成功复制相关联。只要代码被共享，即使文档不完整、部分缺失或未进行版本控制，也不影响成功复制。本研究强调了开放科学的有效性以及对数据工作进行正确文档化的重要性。