具有边缘感知预训练的多尺度 Transformer 网络用于跨模态 MR 图像合成
图像与视频处理
2023-06-21 v3 计算机视觉与模式识别
摘要
跨模态磁共振（MR）图像合成可用于从给定模态生成缺失模态。现有（监督学习）方法常需大量配对多模态数据来训练有效的合成模型。然而，获取充足的配对数据用于监督训练往往具有挑战性。现实中，我们常拥有少量配对数据与大量未配对数据。为利用配对与未配对数据，本文提出一种具有边缘感知预训练的多尺度 Transformer 网络（MT-Net）用于跨模态 MR 图像合成。具体而言，首先以自监督方式预训练一个保边掩码自编码器（Edge-MAE），同时执行 1）对各图像中随机掩码块的图像补全与 2）整体边缘图估计，从而有效学习上下文与结构信息。此外，提出一种新颖的块级损失，根据各掩码块补全的难度差异区别对待，以提升 Edge-MAE 性能。基于该预训练，在后续微调阶段，设计了一种双尺度选择性融合（DSF）模块（置于 MT-Net 中），通过整合从预训练 Edge-MAE 编码器提取的多尺度特征来合成缺失模态图像。进一步，该预训练编码器还用于从合成图像与对应真值图像中提取高层特征，并要求二者在训练中相似（一致）。实验结果表明，即便仅使用全部可用配对数据的 ，我们的 MT-Net 仍取得与对比方法相当的性能。我们的代码将公开于 https://github.com/lyhkevin/MT-Net。
引用
@article{arxiv.2212.01108,
title = {Multi-scale Transformer Network with Edge-aware Pre-training for Cross-Modality MR Image Synthesis},
author = {Yonghao Li and Tao Zhou and Kelei He and Yi Zhou and Dinggang Shen},
journal= {arXiv preprint arXiv:2212.01108},
year = {2023}
}
备注
13 pages, 16 figures. This paper has been accepted by IEEE TMI