机器学习中不可复现性的来源：综述

背景：许多已发表的机器学习研究不可复现。方法论问题以及未恰当考量算法本身或其实现所引入的变异，被视为不可复现性的主要成因。问题：目前不存在将实验设计选择与其对结论的潜在影响相关联的理论框架。缺乏此类框架，从业者与研究人员更难评估实验结果并描述实验的局限性。此类框架的缺失也使得独立研究人员更难系统地归因复现性实验失败的原因。目标：本文的目标是开发一个框架，使应用数据科学从业者与研究人员能够理解哪些实验设计选择会导致错误发现及其方式，并由此协助分析复现性实验的结论。方法：我们编制了文献中报道的、可导致机器学习研究不可复现的广泛因素列表。这些因素依据科学方法各阶段驱动的复现性框架进行组织与分类。分析了这些因素如何影响从实验得出的结论。以一个模型比较研究为例。结论：我们提供了一个描述从实验设计决策到由此推断结论的机器学习方法论的框架。