讲故事谬误对方法学研究中真实数据实例的影响
其他统计学
2025-03-06 v1
摘要
"研究者自由度"（researcher degrees of freedom, RDF）一词最初在科学中期危机的背景下引入 metascientific 文献中，指科学家在数据分析过程中拥有的灵活决策范围。这些选择在数据分析的各个阶段都会发生。结合选择性报告，RDF可能导致乐观的陈述，并增加虚假阳性发现的比率。虽然这一概念主要讨论于流行病学或心理学等领域，但类似问题也影响方法学统计研究。那些开发和评估统计方法的研究者在设计比较研究时面临众多决策选择，这为对其首选方法进行过度乐观的表述留下了空间。本文定义并探讨了一个此前未被识别和讨论的特定RDF。在解释方法学评估中常出现的真实数据实例的结果时，作者通常会讲述一个最能支持其倾向于其首选方法的论点的领域特定"故事"。然而，其他许多合理的故事也会支持不同的结论。我们定义"讲故事谬误"为在真实数据实例中选择性地使用领域特定的轶事知识，以支持特定方法优越性的论点。尽管以领域知识为驱动的实例在方法学研究中发挥着重要作用，但如果使用不当也会损害对所研究方法结论的有效性。我们的工作旨在提高对这一问题的 awareness，激发关于真实数据在方法学研究中生成证据作用的讨论，并警告方法学文献的读者谨慎解读真实数据实例。
引用
@article{arxiv.2503.03484,
title = {The impact of the storytelling fallacy on real data examples in methodological research},
author = {Maximilian M. Mandl and Frank Weber and Tobias Wöhrle and Anne-Laure Boulesteix},
journal= {arXiv preprint arXiv:2503.03484},
year = {2025}
}