可重复性研究图景导航：一种预测建模方法
数字图书馆
2024-10-25 v1
摘要
科学文章的可重复性是科学进步的核心。尽管如此，由于缺乏真实数据，评估可重复性仍然具有挑战性。预测模型可通过简化繁冗的评估过程来解决这一限制。通常，基于代码、数据或补充信息等可获取性来推断论文的可重复性，却缺乏深入的实证调查。为此，我们将论文的可获取性（artifacts）作为基本单元，构建了一个新型的双谱（dual-spectrum）框架，侧重作者视角和外部代理视角。我们采用作者视角，然后采用外部代理视角，引导基于模型的方法对可重复性进行量化和评估。我们探讨了影响可重复性的不同因素之间的相互作用，发现语言特征如可读性和词汇多样性与论文在两个谱面上获得最高地位密切相关。我们的工作为评估科学研究的可重复性提供了一个以模型为导向的路径。本研究的代码、方法和可获取性均公开于：https://github.com/reproducibilityproject/NLRR/
引用
@article{arxiv.2410.18276,
title = {Navigating the Landscape of Reproducible Research: A Predictive Modeling Approach},
author = {Akhil Pandey Akella and Sagnik Ray Choudhury and David Koop and Hamed Alhoori},
journal= {arXiv preprint arXiv:2410.18276},
year = {2024}
}
备注
10 pages, CIKM 2024