基于 Transformer 与循环一致生成对抗网络的视网膜图像复原
图像与视频处理
2023-03-06 v1 计算机视觉与模式识别
摘要
医学成像在检测和诊治各种疾病中起着重要作用。然而,这些图像经常质量过差,导致效率降低、额外开销甚至错误诊断。因此,我们提出一种使用视觉 transformer 和卷积神经网络的视网膜图像增强方法。它构建了一个依赖非配对数据集的循环一致生成对抗网络。它由两个生成器组成,将图像从一域翻译到另一域(例如低质量到高质量及反之),与两个判别器进行对抗博弈。生成器为判别器生成难以区分的图像,判别器从生成图像中预测原始图像。生成器是视觉 transformer (ViT) 编码器与卷积神经网络 (CNN) 解码器的组合。判别器包含传统 CNN 编码器。所得改进图像已使用峰值信噪比 (PSNR)、结构相似性指数测度 (SSIM) 等评价指标进行定量测试,并进行定性测试即血管分割。所提方法成功减轻了模糊、噪声、光照干扰和色彩失真的不利影响,同时显著保留结构与色彩信息。实验结果显示了所提方法的优越性。我们在第一个数据集上的测试 PSNR 为 31.138 dB,第二个为 27.798 dB。测试 SSIM 分别为 0.919 和 0.904。
引用
@article{arxiv.2303.01939,
title = {Retinal Image Restoration using Transformer and Cycle-Consistent Generative Adversarial Network},
author = {Alnur Alimanov and Md Baharul Islam},
journal= {arXiv preprint arXiv:2303.01939},
year = {2023}
}
备注
4 pages, 3 figures, The International Symposium on Intelligent Signal Processing and Communication Systems (ISPACS2022)