基于可变形交叉注意力的三维医学图像融合
图像与视频处理
2023-10-11 v1 计算机视觉与模式识别
医学物理
摘要
多模态医学图像融合在医学图像处理的多个领域中发挥着重要作用，特别是在疾病识别和肿瘤检测方面。传统融合方法往往在处理各模态独立提取特征后再进行结合并重建融合图像。然而，这种方法常忽视多模态信息之间根本的共性与差异。此外，现有主流方法大多局限于融合二维（2D）医学图像切片，导致融合图像缺乏上下文监督，进而使医生相对于三维（3D）图像获得的信息量减少。在本研究中，我们引入一种创新的无监督特征互学习融合网络，旨在纠正这些局限。我们的方法包含可变形交叉特征混合（DCFB）模块，促使双模态辨识各自的相似与差异。我们将模型应用于阿尔茨海默病神经影像学倡议（ADNI）数据集中660名患者的3D MRI与PET图像融合。通过应用DCFB模块，我们的网络生成高质量的MRI-PET融合图像。实验结果表明，我们的方法在峰值信噪比（PSNR）和结构相似性指数测度（SSIM）等性能指标上超越传统2D图像融合方法。重要的是，我们方法融合3D图像的能力增强了医生和研究人员可获取的信息，从而标志着该领域的重要进步。代码将很快在线发布。
引用
@article{arxiv.2310.06291,
title = {Three-Dimensional Medical Image Fusion with Deformable Cross-Attention},
author = {Lin Liu and Xinxin Fan and Chulong Zhang and Jingjing Dai and Yaoqin Xie and Xiaokun Liang},
journal= {arXiv preprint arXiv:2310.06291},
year = {2023}
}