高层次分析用的医学图像融合：用于非对齐 PAT 与 MRI 的互增强框架
图像与视频处理
2025-03-20 v2
摘要
光声断层扫描(PAT)提供光学对比度，而磁共振成像(MRI)在软组织和器官解剖方面具有优势。将 PAT 与 MRI 融合具有广泛的应用前景，由于其互补的优势。现有的图像融合方法在预先配准的图像上取得了 considerable 进展，但在医学成像场景中难以避免空间形变。更重要的是，当前算法关注视觉质量和统计指标，忽略了高层次任务的需求。为此，我们提出一种无监督融合模型，称为 PAMRFuse+，其集成了图像生成与配准。具体地，引入一种跨模态风格迁移网络，以将跨模态配准简化为单模态配准。随后，采用多层次配准网络来预测位移矢场。进一步，提出一种双分支特征分解融合网络，以整合模态特定特征和模态共享特征，来解决跨模态特征建模和分解的挑战。PAMRFuse+ 在注册和融合非对齐 PAT-MRI 数据集方面取得令人满意的结果。而且，首次我们对医学图像融合在多器官实例分割任务上的性能进行评估。大量实验表明，PAMRFuse+ 在提高医学图像分析任务的性能方面具有优势。
引用
@article{arxiv.2407.03992,
title = {Medical Image Fusion for High-Level Analysis: A Mutual Enhancement Framework for Unaligned PAT and MRI},
author = {Yutian Zhong and Jinchuan He and Zhichao Liang and Shuangyang Zhang and Qianjin Feng and Lijun Lu and Li Qi},
journal= {arXiv preprint arXiv:2407.03992},
year = {2025}
}