利用分层噪声交叉验证提升医学标注质量以降低标注负担
机器学习
2020-09-24 v1 计算机视觉与模式识别
图像与视频处理
摘要
随着机器学习在医学影像数据中应用日益广泛，训练标签中的噪声已成为一项重要挑战。医学影像诊断的变异性已被充分证实；此外，医学标注者在训练与任务专注度上的差异可能加剧该问题。识别和减轻低质量标签影响的方法已有研究，但在医学影像任务中尚未得到充分刻画。例如，噪声交叉验证(Noisy Cross-Validation)将训练数据分为两半，已被证明可在计算机视觉任务中识别低质量标签；但其尚未专门应用于医学影像任务。本文提出分层噪声交叉验证(Stratified Noisy Cross-Validation, SNCV)，作为噪声交叉验证的扩展。SNCV 可通过为每个样本分配质量分数来提供模型预测的置信度估计；对标签进行分层以处理类别不平衡；并识别可能的低质量标签以分析成因。我们在从视网膜眼底照片诊断青光眼疑似风险这一临床重要且细微的标注任务上评估 SNCV 的性能。利用已发表深度学习模型的训练数据，我们计算每个训练样本的连续质量分数(QS)。我们请受过训练的青光眼专家对 1,277 个低 QS 样本重新标注；新标签与 SNCV 预测对初始标签的一致率超过 85%，表明低 QS 样本主要反映标注者错误。我们随后量化仅用高 QS 标签训练的影响，表明可用远少得多的样本获得强模型性能。通过将该方法应用于随机子采样的训练数据集，我们表明该方法可在多个保留测试集上以不劣于使用全数据集的模型性能，将标注负担降低约 50%。
引用
@article{arxiv.2009.10858,
title = {Improving Medical Annotation Quality to Decrease Labeling Burden Using Stratified Noisy Cross-Validation},
author = {Joy Hsu and Sonia Phene and Akinori Mitani and Jieying Luo and Naama Hammel and Jonathan Krause and Rory Sayres},
journal= {arXiv preprint arXiv:2009.10858},
year = {2020}
}