探究 DermaMNIST 和 Fitzpatrick17k 皮肤病学图像数据集的质量
计算机视觉与模式识别
2025-02-04 v2 机器学习
摘要
深度学习在皮肤病学任务中取得的显著进展，使我们更接近实现与人类专家相当的诊断准确率。然而，尽管大型数据集在开发可靠的深度神经网络模型中起着至关重要的作用，但其中数据的质量及其正确使用至关重要。多个因素可能影响数据质量，例如重复数据的存在、训练-测试集划分间的数据泄露、错误标记的图像以及缺乏明确定义的测试集划分。在本文中，我们对三个流行的皮肤病学图像数据集：DermaMNIST、其来源 HAM10000 以及 Fitzpatrick17k 进行了细致分析，揭示了这些数据质量问题，衡量了这些问题对基准测试结果的影响，并提出了对数据集的修正。除了确保我们分析的可复现性，通过公开我们的分析流程和随附代码，我们旨在鼓励类似的探索，并促进在其他大型数据集中识别和解决潜在的数据质量问题。
引用
@article{arxiv.2401.14497,
title = {Investigating the Quality of DermaMNIST and Fitzpatrick17k Dermatological Image Datasets},
author = {Kumar Abhishek and Aditi Jain and Ghassan Hamarneh},
journal= {arXiv preprint arXiv:2401.14497},
year = {2025}
}
备注
41 pages, 17 figures, 4 tables