面向稳健多模态前列腺MRI分割的无架构模态隔离门控融合
计算机视觉与模式识别
2026-04-21 v3 人工智能
摘要
多参数前列腺MRI将T2加权(T2W)、显著扩散系数(ADC)和高b值扩散加权(HBV)序列组合用于无创检测临床显著性前列腺癌。实际情况下，扩散序列比T2W更易受采集变异、运动和伪影影响，使得对这些通道进行稳健融合成为临床相关的要求。我们提出模态隔离门控融合(MIGF)，一种无架构的模块，保持独立的模态特定编码流，随后通过学习的门控阶段，结合模态dropout训练以强制在输入不完整时进行补偿。我们对六种主干网络进行基准测试，并在PI-CAI(1,500例研究，fold-0分割，五个随机种子)上评估MIGF等效模型在七种缺失模态和伪影情景下的表现。MIGF在UNet、nnUNet和Mamba的理想情景排名得分分别提高了2.8%、4.6%和13.4%；最佳模型(MIGFNet-nnUNet，包含门控和ModDrop，不使用深度监督)实现了0.7304 ± 0.056。MIGF主要改进了对HBV/ADC退化的容忍性，而缺失T2W在所有架构中仍是一个共同的失败模式。机制分析表明，鲁棒性提升源于严格的模态隔离和dropout驱动的补偿，而非自适应的逐样本质量路由：门控收敛到稳定的模态先验，深度监督仅对最大主干网络有益。外部评估在Prostate158(n=158)上显示出显著的域迁移，主要由于ADC图在不同机构之间的不兼容性；模态隔离分析确认删除ADC可提高外部表现，确认计算扩散图天然不可移植于原始采集序列。
引用
@article{arxiv.2604.10702,
title = {Architecture-Agnostic Modality-Isolated Gated Fusion for Robust Multi-Modal Prostate MRI Segmentation},
author = {Yongbo Shu and Wenzhao Xie and Shanhu Yao and Zirui Xin and Luo Lei and Kewen Chen and Aijing Luo},
journal= {arXiv preprint arXiv:2604.10702},
year = {2026}
}
备注
40 pages, 4 figures, 6 tables