面向可靠 PET/CT 肿瘤分割的多模态证据融合网络
图像与视频处理
2025-01-03 v2 计算机视觉与模式识别
机器学习
摘要
PET/CT 图像的准确肿瘤分割对于计算机辅助癌症诊断和治疗至关重要。主要挑战在于有效整合 PET 和 CT 图像中互补的信息。在临床环境中，PET 和 CT 图像的质量往往存在显著差异，导致网络提取的模态信息不确定。为此，我们提出一种新型的多模态证据融合网络 (MEFN)，其包含两个核心阶段：跨模态特征学习 (CFL) 和多模态可靠融合 (MTF)。CFL 阶段在不同模态之间对齐特征并学习更稳健的特征表示，从而减轻领域差距的负面影响。MTF 阶段利用相互注意力机制和不确定性校准器，基于模态不确定性融合模态特征，然后在 Dempster-Shaist 理论的指导下融合分割结果。此外，引入一种新的不确定性感知损失，以迫使模型聚焦于不确定特征，从而提高其提取可信模态信息的能力。在两个公开可用的 PET/CT 数据集上进行了大量比较实验，以评估我们所提出方法的性能，其结果表明我们的方法在 AutoPET 数据集和 Hecktor 数据集上的 DSC 分数分别提高了 3.10% 和 3.23%，显著优于当前最先进的方法。更重要的是，我们的模型可以为放射科医生提供分割结果的可信不确定性，以便其在接受或拒绝自动分割结果时作出决策，这在临床应用中尤为重要。我们的代码将在 https://github.com/QPaws/MEFN 上提供。
引用
@article{arxiv.2406.18327,
title = {Multi-modal Evidential Fusion Network for Trustworthy PET/CT Tumor Segmentation},
author = {Yuxuan Qi and Li Lin and Jiajun Wang and Bin Zhang and Jingya Zhang},
journal= {arXiv preprint arXiv:2406.18327},
year = {2025}
}