基准研究中的过度乐观以及结果解读时设计与分析选项的多样性
统计方法学
2024-01-17 v1
摘要
近年来,科学界日益认识到需要关注计算方法比较的中立基准研究。尽管近期文献中可见关于中立基准研究设计与分析的一般性建议,但一定程度的灵活性始终存在。这包括数据集与性能度量的选择、缺失性能值的处理,以及性能值在数据集上的聚合方式。由于这种灵活性,研究者可能担忧其选择如何影响结果,或在最坏情况下,可能受诱惑从事可疑研究行为(例如选择性报告结果或事后修改设计或分析组件)以迎合其预期或期望。为提高对此问题的警觉,我们以一个示例基准研究说明当考虑一系列设计与分析选项的所有可能组合时,基准结果可具有多大变动性。随后我们展示如何使用多维展开(multidimensional unfolding)评估每种选择对结果的影响。总之,基于既往文献与我们的示例,我们主张设计与分析选项的多样性加之可疑研究行为,会导致对基准结果的偏倚解读与过度乐观的结论。计算研究者在设计与分析其基准研究时,以及科学界整体在迈向更可靠基准结果的努力中,均应考量此问题。
引用
@article{arxiv.2106.02447,
title = {Over-optimism in benchmark studies and the multiplicity of design and analysis options when interpreting their results},
author = {Christina Nießl and Moritz Herrmann and Chiara Wiedemann and Giuseppe Casalicchio and Anne-Laure Boulesteix},
journal= {arXiv preprint arXiv:2106.02447},
year = {2024}
}
备注
39 pages