基于 Readme 的源代码仓库可复现性评估端到端系统

机器学习研究可复现性的提升是学习性能显著改善的驱动力。科学界进一步通过在审稿表中加入可复现性评级并将其视为论文整体评估的关键因素来推动这一努力。仅有附带的源代码不足以使一项工作可复现。共享的代码还应满足 ML 可复现性检查清单。本工作旨在支持对带有源代码的论文进行可复现性评估。我们提出了一个运行于源代码仓库 Readme 文件上的端到端系统。该系统检查给定 Readme 是否符合一个广泛使用的科研源代码共享平台所提出的模板。我们的系统基于自定义函数生成分数以结合各章节得分。我们还训练了一个分层 transformer 模型，为给定 Readme 分配类别标签。实验结果表明，基于章节相似度的系统优于分层 transformer。此外，在可解释性方面它具有优势，因为人们可以直接将分数与 Readme 文件的章节相关联。