揭示3D医学分割中模态差异与泛化幻象
计算机视觉与模式识别
2026-02-10 v1
摘要
虽然新兴的3D医学基础模型被视为具通用能力的多功能工具，但其验证工作大多局限于区域性和结构化成像，导致未探索显著的模态差异问题。为提供严谨客观的评估，我们构建UMD数据集，包含490例全身PET/CT和464例全身PET/MRI扫描（约67.5万2D图像，约1.2万3D器官标注），并对代表性3D分割基础模型进行彻底全面评估。通过对同一受试者内的配对扫描进行受控比较，我们将成像模态作为主要独立变量，以评估模型在实际应用中的鲁棒性。我们的评估揭示了文献报告基准与实际效果之间的巨大差异，尤其是在从结构域向功能域迁移时更甚者远。此类系统性失效凸显当前3D基础模型远未实现真正的通用性，亟需向多模态训练与评估转变，以弥合理想基准测试与全面临床实用性之间的鸿沟。该数据集与分析为未来研究开发真正模态无关的医学基础模型奠定了基础性支柱。
引用
@article{arxiv.2602.07643,
title = {Uncovering Modality Discrepancy and Generalization Illusion for General-Purpose 3D Medical Segmentation},
author = {Yichi Zhang and Feiyang Xiao and Le Xue and Wenbo Zhang and Gang Feng and Chenguang Zheng and Yuan Qi and Yuan Cheng and Zixin Hu},
journal= {arXiv preprint arXiv:2602.07643},
year = {2026}
}