活生态基准：用于模拟研究的中性和累积框架
统计方法学
2025-10-23 v1
摘要
模拟研究广泛用于评估统计方法。然而，新方法常由同一作者设计数据生成机制（DGMs），并进行评估。这导致激励不对齐，例如需要展示新方法的优越性，可能损害模拟研究的中性。此外，模拟研究结果往往难以比较 due to DGMs、竞争方法和绩效度量的差异。这种碎片化可能导致冲突的结论，阻碍方法论进步，延缓有效方法的采纳。为此，我们提出活生态基准的概念。关键思想是：在DGMs、方法或绩效度量新增时持续更新基准。这种分离有利于方法评估的中性，强调方法和DGMs的开发，并实现系统比较。本文我们勾勒了构建和维护此类基准的蓝图，讨论了实施中的技术和组织挑战，并通过出版偏差调整方法的原型基准演示了可行性。我们得出结论，活生态基准有望促进方法评估的中性、可重复和累积，惠及方法开发者和用户。
引用
@article{arxiv.2510.19489,
title = {Living Synthetic Benchmarks: A Neutral and Cumulative Framework for Simulation Studies},
author = {František Bartoš and Samuel Pawel and Björn S. Siepe},
journal= {arXiv preprint arXiv:2510.19489},
year = {2025}
}