通过专家教师的中间层知识蒸馏防止医学图像分析中的捷径学习
计算机视觉与模式识别
2025-11-25 v2 人工智能
摘要
深度学习模型容易学习使用训练数据中与无关特征的伪相关特征来解决问题。在高风险应用如医学图像分析中，这一现象可能阻止模型在做出预测时使用临床上有意义的特征，可能导致鲁棒性差并伤害患者。我们演示了不同类型的捷径（那些在图像中分布广泛的，以及那些局限于特定区域的捷径）在网络层之间呈现出不同特征，因此可以通过针对中间层的缓解策略更有效地针对它们。我们提出一种新颖的知识蒸馏框架，该框架利用在小数据子集上微调的教师网络来缓解在大数据集上训练的学生网络中的捷径学习。通过在 CheXpert、ISIC 2017 和 SimBA 数据集上进行大量实验，使用各种网络架构（ResNet-18、AlexNet、DenseNet-121 和 3D CNN），我们证明在传统经验风险最小化、基于数据增强的偏差缓解和基于组的偏差缓解方法上都有一致的改进。在许多情况下，我们甚至在离群测试数据上都能实现与在无偏数据上训练的基线模型相当的性能。我们的结果表明，本方法在实际医学成像场景中具有实际可行性，其中偏差注释有限且捷径特征难以先行识别。
引用
@article{arxiv.2511.17421,
title = {Preventing Shortcut Learning in Medical Image Analysis through Intermediate Layer Knowledge Distillation from Specialist Teachers},
author = {Christopher Boland and Sotirios Tsaftaris and Sonia Dahdouh},
journal= {arXiv preprint arXiv:2511.17421},
year = {2025}
}
备注
Accepted for publication at the Journal of Machine Learning for Biomedical Imaging (MELBA) https://melba-journal.org/2025:020