SFT-KD-Recon：在磁共振图像重建的知识蒸馏中学习对学生友好的教师
图像与视频处理
2024-02-06 v1 人工智能
计算机视觉与模式识别
摘要
用于磁共振成像（MRI）加速的深度级联架构在提供高质量重建方面已显示出显著成功。然而，随着级联数量的增加，重建质量的提升趋于边际化，表明可能存在模型容量过剩。知识蒸馏（KD）是一种新兴的模型压缩技术，其中利用训练好的深度教师网络将知识蒸馏给更小的学生网络，使学生学习模仿教师的行为。大多数 KD 方法侧重于用预先训练且对学生模型无感知的教师来有效训练学生。我们提出 SFT-KD-Recon，一种对学生友好的教师训练方法，将学生作为 KD 的先验步骤，使教师感知学生的结构与容量，并实现教师与学生表示的对齐。在 SFT 中，教师与学生块的展开分支配置使用三项损失联合训练——教师重建损失、学生重建损失和师生模仿损失，随后对学生进行 KD。我们在脑部和心脏数据集上以 4 倍和 5 倍欠采样，使用所提方法作为先验步骤对五种 KD 方法进行大量 MRI 加速实验。我们采用 DC-CNN 架构，设定教师为 D5C5（141765 参数），学生为 D3C5（49285 参数），表示 2.87:1 的压缩比。结果表明：（i）我们的方法持续改进步 KD 方法，提升重建性能与图像质量；（ii）经我们的方法蒸馏的学生可与教师竞争，性能差距从 0.53 dB 缩小至 0.03 dB。
引用
@article{arxiv.2304.05057,
title = {SFT-KD-Recon: Learning a Student-friendly Teacher for Knowledge Distillation in Magnetic Resonance Image Reconstruction},
author = {Matcha Naga Gayathri and Sriprabha Ramanarayanan and Mohammad Al Fahim and Rahul G S and Keerthi Ram and Mohanasankar Sivaprakasam},
journal= {arXiv preprint arXiv:2304.05057},
year = {2024}
}
备注
18 pages, 8 figures. Accepted for publication at MIDL 2023. Code for our proposed method is available at https://github.com/GayathriMatcha/SFT-KD-Recon