RoS-KD：一种面向噪声医学影像的鲁棒随机知识蒸馏方法
计算机视觉与模式识别
2022-12-06 v2 机器学习
摘要
人工智能驱动的医学影像因能提供快速医疗诊断而近期受到极大关注。然而，由于标注成本高、观察者间差异、人类标注者错误以及计算机生成标签中的错误，其通常受限于缺乏高质量数据集。在含噪声标签数据集上训练的深度模型对噪声类型敏感，并导致在未见样本上泛化性下降。为应对该挑战，我们提出鲁棒随机知识蒸馏（RoS-KD）框架，其模拟从多源学习某一主题的概念，以确保对噪声信息学习的抑制。更具体地，RoS-KD 通过从在训练数据重叠子集上训练的多个教师蒸馏知识，学习一个平滑、信息充分且鲁棒的学生流形。我们在真实世界数据集上针对流行医学影像分类任务（心肺疾病与病变分类）的广泛实验，展示了 RoS-KD 的性能优势、其从许多流行大型网络（ResNet-50、DenseNet-121、MobileNet-V2）向相对较小网络蒸馏知识的能力，以及其对对抗攻击（PGD、FSGM）的鲁棒性。更具体地，当底层学生网络为 ResNet-18 时，RoS-KD 在病变分类与心肺疾病分类任务上相较近期竞争性知识蒸馏基线分别取得 F1 分数 >2% 与 >4% 的提升。此外，在心肺疾病分类任务上，RoS-KD 以约 1% 的 AUC 分数增益优于大多数 SOTA 基线。
引用
@article{arxiv.2210.08388,
title = {RoS-KD: A Robust Stochastic Knowledge Distillation Approach for Noisy Medical Imaging},
author = {Ajay Jaiswal and Kumar Ashutosh and Justin F Rousseau and Yifan Peng and Zhangyang Wang and Ying Ding},
journal= {arXiv preprint arXiv:2210.08388},
year = {2022}
}
备注
Accepted in ICDM 2022