医学图像分割的测试时模态泛化
计算机视觉与模式识别
2025-02-28 v1
摘要
通用医学图像分割对于确保在 diverse unseen临床环境中保持一致性能至关重要。然而，现有方法常常忽视了在 arbitrary unseen模态上有效泛化的能力。本文提出了一种新型测试时模态泛化（TTMG）框架，包含两个核心组件：模态感知风格投影（MASP）和模态敏感实例白化（MSIW），旨在增强在 arbitrary unseen模态数据集上的泛化能力。MASP 估计测试实例属于每个已见模态的概率，并将其映射到使用模态特定风格基的分布中，从而有效引导其投影。此外，由于高特征协方差阻碍对 unseen模态的泛化，MSIW 在训练期间应用于选择性抑制模态敏感信息，同时保留模态不变特征。通过整合 MASP 和 MSIW，TTMG 框架在 unseen模态下的医学图像分割展现出鲁棒的泛化能力，这是当前大多数方法所忽视的挑战。我们在十一个数据集上评估了 TTMG，涵盖四种模态（结肠镜、超声、皮肤学和放射学），在 various模态组合下始终实现了优于的分割性能。
引用
@article{arxiv.2502.19671,
title = {Test-Time Modality Generalization for Medical Image Segmentation},
author = {Ju-Hyeon Nam and Sang-Chul Lee},
journal= {arXiv preprint arXiv:2502.19671},
year = {2025}
}
备注
28 pages and 15 figures. arXiv admin note: text overlap with arXiv:2502.09931