中文

经验教训:可重复性、可复现性及何时终止

机器学习 2024-01-10 v2 大气与海洋物理

摘要

尽管已有大量指南用于确保自身研究的可重复性,但关于在自身研究中对外部研究进行重现和复现的讨论却寥寥无几。为了引发这一讨论,我们根据重现一个用于预测热带气旋生成的业务化产品的经验,提出了一个二维框架来为重现和复现提供指导。该框架将模型拟合表示为一个维度,将其在推理中的使用表示为另一个维度,并建立在三个关键方面之上:数据集、指标和模型本身。通过评估我们的研究在该二维平面上的轨迹,我们可以更好地为基于研究所作的声明提供依据。此外,我们使用该框架将基准数据集在大气科学中的效用置于具体语境中。我们的二维框架为研究人员(尤其是早期职业研究人员)提供了一种工具,使其能够将先前的工作纳入自己的研究中,并为其在此语境下可以作出的声明提供依据。

关键词

引用

@article{arxiv.2401.03736,
  title  = {Lessons Learned: Reproducibility, Replicability, and When to Stop},
  author = {Milton S. Gomez and Tom Beucler},
  journal= {arXiv preprint arXiv:2401.03736},
  year   = {2024}
}

备注

Main Text: 6 pages with 2 Figures Supplementary Text: 7 Pages with 3 figures and 3 tables Submitted to AMS AIES Lessons Learned (https://journals.ametsoc.org/view/journals/aies/aies-overview.xml)