挑战赛结果不可复现
计算机视觉与模式识别
2023-07-17 v1
摘要
虽然临床试验是以比较方式评估新药效果的当前最优方法，但医学图像分析领域的基准测试是通过所谓的挑战赛来进行的。最近，对多个生物医学图像分析挑战赛的综合分析揭示了挑战赛的影响力与设计及报告标准的质量控制之间存在巨大差距。本研究旨在跟进这些结果，并尝试解决参与者方法可复现性的具体问题。为确定对方法描述的不同解读是否会改变挑战赛排名，我们复现了提交至2019年鲁棒医学图像分割挑战赛（ROBUST-MIS）的算法。原始挑战赛与重新实现的排行榜存在显著差异，表明挑战赛排名可能不足以复现。
引用
@article{arxiv.2307.07226,
title = {Challenge Results Are Not Reproducible},
author = {Annika Reinke and Georg Grab and Lena Maier-Hein},
journal= {arXiv preprint arXiv:2307.07226},
year = {2023}
}
备注
Accepted at BVM 2023