用于 MRI 与超声体积配准的跨模态注意力
计算机视觉与模式识别
2021-07-13 v2
摘要
前列腺癌活检受益于经直肠超声(TRUS)与磁共振(MR)图像的精确融合。过去几年中，卷积神经网络(CNNs)已被证明在提取对图像配准至关重要的图像特征方面具有强大能力。然而，具有挑战性的应用和计算机视觉的最新进展表明，CNN 在理解特征间空间对应关系的能力上相当有限，而自注意力机制在此任务上表现出色。本文旨在开发一种专门用于跨模态图像配准的自注意力机制。我们提出的跨模态注意力块将一个体积中每个特征有效地映射到对应体积中的所有特征。我们的实验结果表明，嵌入了跨模态注意力块设计的 CNN 网络优于规模为其 10 倍的先进 CNN 网络。我们还结合了可视化技术以提高网络的可解释性。我们工作的源代码可在 https://github.com/DIAL-RPI/Attention-Reg 获取。
引用
@article{arxiv.2107.04548,
title = {Cross-modal Attention for MRI and Ultrasound Volume Registration},
author = {Xinrui Song and Hengtao Guo and Xuanang Xu and Hanqing Chao and Sheng Xu and Baris Turkbey and Bradford J. Wood and Ge Wang and Pingkun Yan},
journal= {arXiv preprint arXiv:2107.04548},
year = {2021}
}
备注
This paper has been accepted by MICCAI 2021