结合噪声到图像与图像到图像 GAN：用于肿瘤检测的脑 MR 图像增强
图像与视频处理
2019-10-10 v3 人工智能
计算机视觉与模式识别
摘要
卷积神经网络（CNNs）在有充足标注训练数据时可实现优异的计算机辅助诊断。然而，大多数医学影像数据集规模小且碎片化。在此背景下，生成对抗网络（GANs）可合成逼真/多样的额外训练图像以填补真实图像分布中的数据缺失；研究者已通过噪声到图像（如从随机噪声样本到多样病理图像）或图像到图像 GANs（如从良性图像到恶性图像）增强数据来改进分类。然而，尚无研究报道结合噪声到图像与图像到图像 GANs 以进一步提升性能的结果。因此，为通过 GAN 组合最大化数据增强（DA）效果，我们提出一种基于两步 GAN 的 DA，分别生成并精炼带/不带肿瘤的脑磁共振（MR）图像：（i）渐进式生长 GANs（PGGANs），一种多阶段噪声到图像 GAN，用于高分辨率 MR 图像生成，首先生成逼真/多样的 256 X 256 图像；（ii）多模态无监督图像到图像翻译（MUNIT，结合 GANs/变分自编码器）或使用 DA 聚焦 GAN 损失的 SimGAN，进一步将 PGGAN 生成图像的纹理/形状精炼得近似真实图像。我们深入研究了基于 CNN 的肿瘤分类结果，同时考虑了在 ImageNet 上预训练以及丢弃外观怪异的 GAN 生成图像的影响。结果表明，与经典 DA 结合时，我们两步基于 GAN 的 DA 在肿瘤检测（即将灵敏度从 93.67% 提升至 97.48%）及其他医学影像任务中均显著优于单独经典 DA。
引用
@article{arxiv.1905.13456,
title = {Combining Noise-to-Image and Image-to-Image GANs: Brain MR Image Augmentation for Tumor Detection},
author = {Changhee Han and Leonardo Rundo and Ryosuke Araki and Yudai Nagano and Yujiro Furukawa and Giancarlo Mauri and Hideki Nakayama and Hideaki Hayashi},
journal= {arXiv preprint arXiv:1905.13456},
year = {2019}
}
备注
12 pages, 7 figures, accepted to IEEE ACCESS