动态权重调整知识蒸馏：基于 Vision Transformer 的高精度肺癌检测与实时部署
计算机视觉与模式识别
2025-10-24 v1 人工智能
摘要
本文提出了 FuzzyDistillViT-MobileNet 模型，一种 novel 方法用于肺癌 (LC) 分类，利用动态模糊逻辑驱动的知识蒸馏 (KD) 解决疾病诊断中的不确定性和复杂性。不同于依赖固定权重的静态 KD 的传统模型，本方法通过模糊逻辑动态调整知识蒸馏权重，使学生模型能够聚焦于高置信区域，同时减少对模糊区域的注意力。这种动态调整提高了模型处理 LC 图像不同区域不确定性水平的能力。我们采用 Vision Transformer (ViT-B32) 作为教师模型，有效地将知识传递给学生模型 MobileNet，从而增强学生的泛化能力。通过动态等待调整机制进一步优化训练过程，以实现更好的收敛和性能。为提高图像质量，我们引入了 Gamma 校正和直方图均衡等像素级图像融合改进技术。处理后的图像 (Pix1 和 Pix2) 采用基于小波的融合方法进行融合，以提高图像分辨率和特征保留。为解决计算效率问题，使用遗传算法 (GA) 从 12 个候选学生模型中选择最合适的预训练模型，在模型性能和计算成本之间进行权衡。该模型在两个数据集上进行评估，包括 LC25000 组织病理图像 (99.16% 准确率) 和 IQOTH/NCCD CT 扫描图像 (99.54% 准确率)，在不同成像域中表现出良好的鲁棒性。
引用
@article{arxiv.2510.20438,
title = {Dynamic Weight Adjustment for Knowledge Distillation: Leveraging Vision Transformer for High-Accuracy Lung Cancer Detection and Real-Time Deployment},
author = {Saif Ur Rehman Khan and Muhammad Nabeel Asim and Sebastian Vollmer and Andreas Dengel},
journal= {arXiv preprint arXiv:2510.20438},
year = {2025}
}