Multimodal-Boost：基于小波变换与多注意力网络的多模态医学图像超分辨率
图像与视频处理
2022-03-15 v2 计算机视觉与模式识别
摘要
基于深度学习的单图像超分辨率（SISR）算法通过持续改进卷积神经网络（CNN）在低分辨率图像上的架构组件与训练策略，彻底改变了整体诊断框架。然而，现有工作存在两方面不足：i）生成的 SR 输出纹理细节较差，且常产生模糊边缘；ii）大多数模型针对单一模态开发，因而需要修改以适应新模态。本工作通过提出带有深度多注意力模块的生成对抗网络（GAN）从低频数据中学习高频信息来解决（i）。基于 GAN 的现有方法已 yielding 良好的 SR 结果；然而，实验证实其 SR 输出的纹理细节尤其对医学图像而言存在不足。我们提出的 SR 模型中小波变换（WT）与 GANs 的集成解决了上述关于纹理基元的局限。WT 将 LR 图像划分为多个频带，而所迁移的 GAN 使用多注意力与上采样块来预测高频分量。此外，我们提出了一种训练特定领域分类器作为感知损失函数的学习方法。结合多注意力 GAN 损失与感知损失函数可带来高效且可靠的性能。将同一模型应用于来自不同模态的医学图像具有挑战性，我们的工作通过迁移学习在多种模态上训练与测试来解决（ii）。使用两个医学数据集，我们针对现有最先进方法验证所提 SR 网络，并在 SSIM 与 PSNR 方面取得有前景的结果。
引用
@article{arxiv.2110.11684,
title = {Multimodal-Boost: Multimodal Medical Image Super-Resolution using Multi-Attention Network with Wavelet Transform},
author = {Fayaz Ali Dharejo and Muhammad Zawish and Farah Deeba Yuanchun Zhou and Kapal Dev and Sunder Ali Khowaja and Nawab Muhammad Faseeh Qureshi},
journal= {arXiv preprint arXiv:2110.11684},
year = {2022}
}
备注
14 pages, 13 Figures, and 3 Tables. Submitted to IEEE/ACM TCBB