标注指令在生物医学图像分析中的影响
计算机视觉与模式识别
2022-07-21 v1
摘要
生物医学图像分析算法的验证依赖于参考数据集的高质量标注，而标注指令是关键所在。尽管其重要，其优化在很大程度上仍未被探索。在此，我们呈现了该领域首项关于标注指令及其对标注质量影响的系统性研究。通过对 MICCAI 学会注册的专业实践与国际竞赛的全面考察，我们揭示了标注者对标注指令的需求与其当前质量及可用性之间的脱节。基于对不同信息密度的指令下由来自四家专业公司的 156 名标注者与 708 名 Amazon Mechanical Turk（MTurk）众包工人标注的 14,040 张图像的分析，我们进一步发现，相较于纯文本描述，包含示例图像显著提升了标注表现，而仅扩展文本描述则无此效果。最后，专业标注者持续优于 MTurk 众包工人。我们的研究提升了对生物医学图像分析标注指令质量标准的迫切需求的认识。
引用
@article{arxiv.2207.09899,
title = {Labeling instructions matter in biomedical image analysis},
author = {Tim Rädsch and Annika Reinke and Vivienn Weru and Minu D. Tizabi and Nicholas Schreck and A. Emre Kavur and Bünyamin Pekdemir and Tobias Roß and Annette Kopp-Schneider and Lena Maier-Hein},
journal= {arXiv preprint arXiv:2207.09899},
year = {2022}
}