TransMRSR：基于 Transformer 的自蒸馏生成先验用于脑 MRI 超分辨率
图像与视频处理
2023-06-13 v1 计算机视觉与模式识别
机器学习
摘要
以低层间分辨率获取的磁共振图像（MRI）节省了时间与成本。但单一方向上的低分辨率不足以满足脑疾病早期诊断与形态测量研究对高分辨率的需求。常见的单图像超分辨率（SISR）方案面临两个主要挑战：（1）局部细节与全局解剖结构信息的结合；（2）在将厚层 MRI 重建为高分辨率（HR）各向同性数据时的大规模复原。为解决这些问题，我们提出一种用于脑 MRI 超分辨率、名为 TransMRSR 的新型两阶段网络，其基于卷积块提取局部信息、基于 transformer 块捕获长程依赖。TransMRSR 由三个模块组成：浅层局部特征提取、深层非局部特征捕获与 HR 图像重建。我们在第一阶段执行生成任务，将多样先验封装入生成网络（GAN）——即深层非局部特征捕获部分的解码子模块。预训练的 GAN 用于第二阶段的超分辨率任务。我们通过自蒸馏截断技巧进一步消除两阶段训练策略引起的潜在隐空间偏移。大量实验表明，我们的方法在公开与私有数据集上均优于其他 SISR 方法。代码发布于 https://github.com/goddesshs/TransMRSR.git。
关键词
引用
@article{arxiv.2306.06669,
title = {TransMRSR: Transformer-based Self-Distilled Generative Prior for Brain MRI Super-Resolution},
author = {Shan Huang and Xiaohong Liu and Tao Tan and Menghan Hu and Xiaoer Wei and Tingli Chen and Bin Sheng},
journal= {arXiv preprint arXiv:2306.06669},
year = {2023}
}
备注
2023 CGI