DISGAN:小波信息判别器引导 GAN 实现带噪声清洗的 MRI 超分辨率
图像与视频处理
2023-08-24 v1 计算机视觉与模式识别
摘要
MRI 超分辨率(SR)与去噪任务是深度学习领域的基础挑战,传统上被视为具有独立配对训练数据的不同任务。本文中,我们提出一种创新方法,使用单一深度学习模型同时解决这两个任务,消除了训练期间显式配对噪声与干净图像的需求。我们提出的模型主要训练用于 SR,但在超分辨图像中也展现出显著的噪声清洗能力。与将频域相关操作引入生成过程的常规方法不同,我们的新颖方法涉及使用由频域信息判别器引导的 GAN 模型。为此,我们利用 3D 离散小波变换(DWT)操作作为 GAN 框架中磁共振成像(MRI)数据 SR 任务的频率约束。具体而言,我们的贡献包括:1)基于残差内残差连接块的 3D 生成器;2)将 3D DWT 与 卷积集成到 3D Unet 中判别器的 DWT+conv 单元;3)将训练模型用于高质量图像 SR,并伴随内在去噪过程。由于其 SR 图像生成与同步去噪的双重效果,我们将该模型称为“去噪诱导超分辨率 GAN(DISGAN)”。不同于将 SR 与去噪任务作为独立模型训练的传统方法,我们提出的 DISGAN 仅在 SR 任务上训练,但也实现了卓越的去噪性能。该模型在来自 Human Connectome Project(HCP)数十名受试者的 3D MRI 数据上训练,并在来自脑肿瘤与癫痫受试者的先前未见 MRI 数据上进一步评估,以考察其去噪与 SR 性能。
引用
@article{arxiv.2308.12084,
title = {DISGAN: Wavelet-informed Discriminator Guides GAN to MRI Super-resolution with Noise Cleaning},
author = {Qi Wang and Lucas Mahler and Julius Steiglechner and Florian Birk and Klaus Scheffler and Gabriele Lohmann},
journal= {arXiv preprint arXiv:2308.12084},
year = {2023}
}
备注
10 pages, 9 figures