分布式系统的仿制品评估：当前实践及其局限

尽管可重复性和可再现性是科学的基本要求，但跨越多个领域的复制尝试失败，导致一些科学家认为存在可重复性危机。作为应对，计算领域的多个高光威望会场设立了仿制品评估轨道，作为系统性评估和标记研究仿制品的程序，随着提交的仿制品数量不断增加。本研究汇编了最近的仿制品评估程序和指南，揭示了分布式系统研究的仿制品评估在其他计算学科中滞后且不够统一且更为复杂。我们进一步论证，当前的仿制品评估标准是非协调且不足以应对分布式系统研究的独特挑战。我们检视了仿制品及其评估的当前实践，以提供建议，以帮助仿制品作者、评审员和会场主席。我们将建议和最佳实践总结为仿制品作者和评估委员会的检查表。尽管我们的建议本身不会解决可重复性和可再现性危机，但我们希望在社区内启动讨论，以增加提交的仿制品数量及其质量。