基于课程微调的视觉基础模型用于带标签噪声的医学图像分类
计算机视觉与模式识别
2024-12-03 v1 图像与视频处理
摘要
深度神经网络在 various vision 任务中展现出卓越的性能，但其成功性很大程度上取决于训练数据的质量。医学数据集中的噪声标签是一个关键问题，可能显著降低模型性能。先前的干净样本选择方法未利用视觉基础模型 (VFM) 的优势预训练特征，假设训练是从头开始的。在本文中，我们提出了 CUFIT，这是一种针对带标签噪声医学图像分类的 VFMs 课程微调范式。我们的方法灵感来自线性探针 VFMs 对噪声样本相对不受影响的事实，因为它不会更新 VFM 的特征提取器，从而能够稳健地对训练样本进行分类。随后，对两个适配器进行课程微调， starting from 干净样本的线性探针阶段。我们的实验结果表明，CUFIT 在各种医学图像基准数据集上均优于先前方法。具体而言，在 40% 噪声率下，我们的方法在 HAM10000、APTOS-2019、BloodMnist 和 OrgancMnist 数据集上分别超过了先前基线 5.0%、2.1%、4.6% 和 5.8%。此外，我们提供了大量分析，说明该方法对噪声标签检测的影响。例如，我们的方法在标签精确度和召回率方面优于先前方法。我们的工作凸显了在噪声标签条件下利用 VFMs进行医学图像分类的潜力。
引用
@article{arxiv.2412.00150,
title = {Curriculum Fine-tuning of Vision Foundation Model for Medical Image Classification Under Label Noise},
author = {Yeonguk Yu and Minhwan Ko and Sungho Shin and Kangmin Kim and Kyoobin Lee},
journal= {arXiv preprint arXiv:2412.00150},
year = {2024}
}
备注
Accepted at NeurIPS 2024