医学图像分类的双模型权重选择与自知识蒸馏

我们提出一种新颖的医学图像分类方法，将双模型权重选择与自知识蒸馏（SKD）相结合。在实际医疗环境中，部署大规模模型常受计算资源限制的约束，这对实际应用提出了重大挑战。因此，开发在保持计算效率的同时实现与大规模模型相当性能的轻量级模型至关重要。为此，我们采用双模型权重选择策略，使用来自大型预训练模型的权重初始化两个轻量级模型，以实现有效的知识传递。随后应用自知识蒸馏，这些所选模型可以广泛地使用初始权重配置，而不会引入额外的计算成本，随后针对目标分类任务进行微调。通过将双模型权重选择与自知识蒸馏相结合，我们的方法克服了传统方法在紧凑模型中未能保留关键信息的局限性。在公开数据集上进行的大量实验——胸部 X 光图像、肺部 CT 扫描和脑部 MRI 扫描——表明该方法在性能和鲁棒性方面优于现有方法。