基于极限训练多教师模型的知识蒸馏用于自适应 MRI 前列腺分割
图像与视频处理
2023-03-17 v1 计算机视觉与模式识别
摘要
在众多医学任务中,深度模型的性能近期取得了显著提升。这些模型通常是熟练的学习器。然而,其复杂的架构设计与高计算复杂度使得它们在临床环境尤其是资源受限设备上的部署具有挑战性。为解决此问题,知识蒸馏(KD)被提出作为一种压缩方法与加速技术。KD 是一种高效的学习策略,可将知识从繁重模型(即教师模型)迁移至轻量模型(即学生模型)。因此我们能以保留教师性能的同时获得低参数量的紧凑模型。故此,我们在本工作中通过结合基于特征蒸馏与 Kullback-Leibler 散度、Lovasz 和 Dice 损失,开发了基于 KD 的深度模型用于前列腺 MRI 分割。我们进一步通过两种压缩流程证明其有效性:1) 从单一充分训练的教师向学生对知识蒸馏;2) 由于大多数医学应用数据集较小,我们训练多个教师,每个仅用一小部分图像训练,以在期望精度和快速推理时间下学习尽可能接近教师们的自适应学生模型。在公开多中心前列腺肿瘤数据集上进行了广泛实验,表明所提出的自适应 KD 策略将 Dice 相似度分数提升了 9%,优于所有测试的成熟基线模型。
引用
@article{arxiv.2303.09494,
title = {Knowledge Distillation for Adaptive MRI Prostate Segmentation Based on Limit-Trained Multi-Teacher Models},
author = {Eddardaa Ben Loussaief and Hatem Rashwan and Mohammed Ayad and Mohammed Zakaria Hassan and Domenec Puig},
journal= {arXiv preprint arXiv:2303.09494},
year = {2023}
}