重复研究：用于检测视网膜眼底照片中糖尿病视网膜病变的深度学习算法的开发与验证
摘要
重复研究对于验证新方法至关重要，对维持科学出版的高标准以及在实践中使用结果也至关重要。我们试图重复发表于JAMA 2016; 316(22)的“用于检测视网膜眼底照片中糖尿病视网膜病变的深度学习算法的开发与验证”中的主要方法。由于源代码不可用，我们重新实现了该方法，并使用了公开可用的数据集。原研究使用来自EyePACS和印度三家医院的非公开眼底图像进行训练。我们使用了来自Kaggle的不同EyePACS数据集。原研究使用基准数据集Messidor-2评估算法性能。我们使用了相同的数据集。在原研究中，眼科医生对所有图像重新分级糖尿病视网膜病变、黄斑水肿和图像可分级性。我们的数据集每幅图像只有一个糖尿病视网膜病变分级，并且我们自己评估了图像可分级性。原研究未描述超参数设置，但其中一些后来被发表。我们未能重复原研究。我们的算法在Kaggle EyePACS测试集上的受试者工作曲线下面积（AUC）为0.94，在Messidor-2上为0.80，远未达到原研究报告的0.99的AUC。这可能是由于每幅图像使用单一分级、不同数据或未描述的不同的超参数设置所致。本研究显示了重复深度学习的挑战，以及需要更多重复研究来验证深度学习方法，特别是用于医学图像分析。我们的源代码和说明可在https://github.com/mikevoets/jama16-retina-replication获取。
引用
@article{arxiv.1803.04337,
title = {Replication study: Development and validation of deep learning algorithm for detection of diabetic retinopathy in retinal fundus photographs},
author = {Mike Voets and Kajsa Møllersen and Lars Ailo Bongo},
journal= {arXiv preprint arXiv:1803.04337},
year = {2019}
}
备注
The third version of this paper includes results from replication after certain hyper-parameters were published in later article. 16 pages, 6 figures, 1 table, presented at NOBIM 2018