WeCKD：面向高效多模态医学成像的弱监督链式蒸馏网络
计算机视觉与模式识别
2025-11-05 v2
摘要
知识蒸馏(KD)传统上依赖于静态的师生框架，其中大型、训练有素的教师将知识传递给单个学生模型。然而，这些方法常常遭受知识退化、监督效率低下以及对非常强大的教师模型或大型标注数据集的依赖。为了解决这些问题，我们提出了首个基于弱监督链的KD网络(WeCKD)，该网络通过结构化的互联模型序列重新定义了知识传递。与传统KD不同，它形成了一个渐进式蒸馏链，其中每个模型不仅从其前驱学习，而且在将知识向前传递之前对其进行精炼。这种结构化的知识传递进一步增强了特征学习，并解决了一步式KD的局限性。链中的每个模型仅使用数据集的一小部分进行训练，并表明可以在极少的监督下实现有效学习。在涵盖耳镜、显微镜和磁共振成像模态的六个成像数据集上的广泛评估表明，该网络具有泛化能力并优于现有方法。此外，所提出的蒸馏链在相同有限数据上训练的单个骨干网络基础上，实现了高达+23%的累积准确率提升，这突显了其在实际应用中的潜力。
引用
@article{arxiv.2510.14668,
title = {WeCKD: Weakly-supervised Chained Distillation Network for Efficient Multimodal Medical Imaging},
author = {Md. Abdur Rahman and Mohaimenul Azam Khan Raiaan and Sami Azam and Asif Karim and Jemima Beissbarth and Amanda Leach},
journal= {arXiv preprint arXiv:2510.14668},
year = {2025}
}