KD-MRI：一种用于MRI工作流中图像重建与图像复原的知识蒸馏框架
图像与视频处理
2020-04-14 v1 计算机视觉与模式识别
机器学习
摘要
深度学习网络正在MRI工作流的各个阶段被开发，并提供了最先进的结果。然而，这是以增加计算需求和存储为代价的。因此，在MRI工作流的不同阶段用紧凑模型替换网络，可显著减少所需的存储空间并带来可观的加速。在计算机视觉中，知识蒸馏是一种常用的模型压缩方法。在我们的工作中，我们针对MRI工作流中的图像到图像问题提出了一种知识蒸馏（KD）框架，以开发紧凑、低参数量的模型而不出现明显的性能下降。我们提出了一种基于注意力的特征蒸馏方法与模仿损失的组合，并证明了其在流行的MRI重建架构DC-CNN上的有效性。我们使用心脏、脑和膝关节MRI数据集进行了针对4倍、5倍和8倍加速的大量实验。我们观察到，借助教师网络并使用我们提出的KD框架训练的学生网络，在所有数据集和加速因子下均比无辅助训练的学生网络有显著改进。具体而言，对于膝关节数据集，与教师网络相比，学生网络实现了的参数量减少、2倍的CPU运行时间加速和1.5倍的GPU运行时间加速。此外，我们将基于注意力的特征蒸馏方法与其他特征蒸馏方法进行比较。我们还进行了消融研究以理解基于注意力的蒸馏和模仿损失的重要性。我们还将我们的KD框架扩展到MRI超分辨率并展示了令人鼓舞的结果。
引用
@article{arxiv.2004.05319,
title = {KD-MRI: A knowledge distillation framework for image reconstruction and image restoration in MRI workflow},
author = {Balamurali Murugesan and Sricharan Vijayarangan and Kaushik Sarveswaran and Keerthi Ram and Mohanasankar Sivaprakasam},
journal= {arXiv preprint arXiv:2004.05319},
year = {2020}
}
备注
Accepted in MIDL 2020. Code available