为量化“可复现性工作量”奠定基础
数字图书馆
2023-08-25 v1 信息检索
摘要
为何某些研究易于复现而另一些难以复现？对科学工作准确性的质疑并无裨益，尤其当个别研究者无法复现论文中的主张时。无法复现某篇科学论文背后或有许多主观原因。机器学习（ML）领域面临可复现性危机，对部分已发表文章的调研使学界意识到：尽管共享代码仓库值得赞赏，代码库并非判定文章可复现性的终极依据。出版流程中各相关方已着手应对该危机，诸如为文章标注可复现徽章、会议（NeurIPS、ICML、ICLR 等）设可复现性清单，以及在 OpenReview 上共享制品，看似是解决核心问题的可行方案。可复现性文献多聚焦避免不可复现所需的举措，关于复现这些文章背后工作量的研究甚少。本文探究影响已发表研究复现难易的因素，并报告用于量化可复现性工作量的基础框架。
引用
@article{arxiv.2308.12580,
title = {Laying foundations to quantify the "Effort of Reproducibility"},
author = {Akhil Pandey Akella and David Koop and Hamed Alhoori},
journal= {arXiv preprint arXiv:2308.12580},
year = {2023}
}
备注
Accepted at ACM/IEEE conference JCDL' 2023. Refer https://2023.jcdl.org/program/schedule-printable/ for confirmation