用于医学图像超分辨的多核尺寸多模态多头卷积注意力
图像与视频处理
2022-10-13 v3 计算机视觉与模式识别
机器学习
摘要
医学图像超分辨可帮助医生提供更准确的诊断。在许多情况下，计算机断层扫描（CT）或磁共振成像（MRI）技术在一次检查中会采集多幅扫描（模态），可联合使用（以多模态方式）进一步提升超分辨结果的质量。为此，我们提出一种新颖的多模态多头卷积注意力模块来对 CT 和 MRI 扫描进行超分辨。我们的注意力模块使用卷积操作对多个拼接的输入张量进行联合空间-通道注意力，其中核（感受野）尺寸控制空间注意力的缩减率，卷积滤波器数量控制通道注意力的缩减率。我们引入多个注意力头，每个头具有对应于空间注意力特定缩减率的不同感受野尺寸。我们将多模态多头卷积注意力（MMHCA）集成到两个用于超分辨的深度神经架构中，并在三个数据集上进行实验。我们的实证结果表明，我们的注意力模块优于超分辨中使用的当前最优注意力机制。此外，我们进行了消融研究以评估注意力模块中相关组件（如输入数量或头数）的影响。我们的代码可在 https://github.com/lilygeorgescu/MHCA 免费获取。
引用
@article{arxiv.2204.04218,
title = {Multimodal Multi-Head Convolutional Attention with Various Kernel Sizes for Medical Image Super-Resolution},
author = {Mariana-Iuliana Georgescu and Radu Tudor Ionescu and Andreea-Iuliana Miron and Olivian Savencu and Nicolae-Catalin Ristea and Nicolae Verga and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2204.04218},
year = {2022}
}
备注
Accepted at WACV 2023 (main paper + supplementary)