用于检查已发表工作严谨性与透明性的软件工具比较
软件工程
2025-07-25 v1 信息检索
摘要
可重复性危机的原因包括缺乏标准化和透明的科学报告。诸如 ARRIVE 和 CONSORT 等检查表旨在提高透明度，但作者往往不遵循这些检查表，同行评审也常常未能识别缺失的项目。为此，已设计了若干自动化工具用于检查不同的严谨性准则。我们对来自 ScreenIT 组的 11 个自动化工具进行了广泛比较，涵盖 9 个不同的严谨性准则。我们发现，其中一些准则（包括检测开放数据），工具的组合显示出明确的获胜者，即该工具在其他工具之上表现显著更好。在其他情况下（包括排除标准的检测），工具的组合超过了任何单一工具的性能。我们还识别出了工具开发人员应集中精力的关键领域，以最大化其工具的实用性。我们随后提出了一组见解和建议，供开发严谨性和透明度检测工具的利益相关者使用。该研究的代码和数据已 disponible at https://github.com/PeterEckmann1/tool-comparison。
引用
@article{arxiv.2507.17991,
title = {Use as Directed? A Comparison of Software Tools Intended to Check Rigor and Transparency of Published Work},
author = {Peter Eckmann and Adrian Barnett and Alexandra Bannach-Brown and Elisa Pilar Bascunan Atria and Guillaume Cabanac and Louise Delwen Owen Franzen and Małgorzata Anna Gazda and Kaitlyn Hair and James Howison and Halil Kilicoglu and Cyril Labbe and Sarah McCann and Vladislav Nachev and Martijn Roelandse and Maia Salholz-Hillel and Robert Schulz and Gerben ter Riet and Colby Vorland and Anita Bandrowski and Tracey Weissgerber},
journal= {arXiv preprint arXiv:2507.17991},
year = {2025}
}