EFCM：面向医学图像分析中大型模型部署的压缩模型高效微调
计算机视觉与模式识别
2024-09-19 v1 人工智能
摘要
近期，医学领域深度学习大模型的发展在医学图像分析和诊断方面展现出卓越的性能，但其庞大的参数量带来了内存和推理延迟方面的挑战。知识蒸馏提供了一种解决方案，但对于全切片病理图像，由于切片级别的标签和梯度无法有效反向传播以更新学生模型，因此面临挑战。本研究提出了一个高效微调压缩模型（EFCM）框架，包含两个阶段：无监督特征蒸馏和微调。在蒸馏阶段，我们提出了带有TransScan模块的特征投影蒸馏（FPD），用于自适应感受野调整，以增强学生模型的知识吸收能力。在切片级别的微调阶段，我们比较了三种策略：重用CLAM、重新训练CLAM和端到端训练CLAM（ETC）。我们在与三个大型医学模型相关的11个下游数据集上进行了实验：用于放射学的RETRET、用于胸部X光的MRM和用于病理学的BROW。实验结果表明，EFCM框架在处理切片级病理图像问题方面显著提高了准确性和效率，有效应对了部署大型医学模型的挑战。具体而言，在TCGA-NSCLC和TCGA-BRCA数据集上，与大型模型BROW相比，我们的方法在ACC上提高了4.33%，在AUC上提高了5.2%。对蒸馏微调方法的效率分析进一步凸显了其高效性。
引用
@article{arxiv.2409.11817,
title = {EFCM: Efficient Fine-tuning on Compressed Models for deployment of large models in medical image analysis},
author = {Shaojie Li and Zhaoshuo Diao},
journal= {arXiv preprint arXiv:2409.11817},
year = {2024}
}