基于分割感知损失微调的残差稠密视觉Transformer用于医学图像超分辨率
图像与视频处理
2023-03-06 v2 计算机视觉与模式识别
机器学习
摘要
超分辨率在医学成像中起着至关重要的作用，因为它提供了一种无需额外采集成本即可获得高空间分辨率和图像质量的替代方法。在过去的几十年中，深度神经网络的快速发展通过新颖的网络架构、损失函数和评估指标提升了超分辨率性能。具体而言，视觉Transformer在广泛的计算机视觉任务中占据主导地位，但在将其应用于底层医学图像处理任务时仍存在挑战。本文提出一种具有残差稠密连接和局部特征融合的高效视觉Transformer，以实现医学模态的高效单图像超分辨率（SISR）。此外，我们通过结合医学图像分割的先验知识，实现了一种具有手动控制、用于改善期望方面图像质量的通用感知损失。在四个公开医学图像数据集上与最先进方法相比，所提方法在七个模态中的六个模态上取得了最佳PSNR分数。它以仅SwinIR 38%的参数实现了平均+0.09 dB PSNR的提升。另一方面，基于分割的感知损失使包括CNN和视觉Transformer在内的SOTA方法平均提升+0.14 dB PSNR。此外，我们进行了全面的消融实验，以探讨视觉Transformer优于CNN的潜在因素以及网络和损失函数组件的影响。代码将在论文发表后发布于GitHub。
引用
@article{arxiv.2302.11184,
title = {A residual dense vision transformer for medical image super-resolution with segmentation-based perceptual loss fine-tuning},
author = {Jin Zhu and Guang Yang and Pietro Lio},
journal= {arXiv preprint arXiv:2302.11184},
year = {2023}
}
备注
Preprint submitted to Medical Image Analysis and under review