基于模态无关输入通道的多模态MRI脑病灶分割
摘要
分割模型是脑MRI病灶检测和分析的重要工具。 Depending on the type of brain pathology that is imaged, MRI scanners can acquire multiple, different image modalities (contrasts).大多数针对多模态脑MRI的分割模型局限于固定的模态，无法在推理时有效处理新出现的模态。一些模型能够推广到未见的模态，但可能丢失模态特定的判别性信息。本工作旨在开发一种能够在包含训练期未见模态、训练期已见模态以及两者混合的异构组合数据中进行推理的模型，从而允许用户利用任何可用的成像模态。我们通过在U-net架构中集成模态无关输入通道或路径，同时保留模态特定输入通道，实现了这一目标。为训练该模态无关组件，我们开发了一种图像增强方案，用于人工合成MRI模态。这些增强方法在保持真实解剖结构的同时，差异性地改变病灶和健康脑组织的外观，以创建它们们之间的人工对比。我们使用包括5种病灶类型（脑卒中、肿瘤、创伤性脑损伤、多发性硬化和白质高信号）和8种模态（T1、T1+对比增强、T2、PD、SWI、DWI、ADC和FLAIR）的8个MRI数据库进行评估。结果表明，该方法在保持有效处理训练期遇到的MRI模态的能力的同时，能够处理新的、未见的模态以提高分割效果。项目代码: https://github.com/Anthony-P-Addison/AGN-MOD-SEG
引用
@article{arxiv.2509.09290,
title = {Modality-Agnostic Input Channels Enable Segmentation of Brain lesions in Multimodal MRI with Sequences Unavailable During Training},
author = {Anthony P. Addison and Felix Wagner and Wentian Xu and Natalie Voets and Konstantinos Kamnitsas},
journal= {arXiv preprint arXiv:2509.09290},
year = {2025}
}
备注
Accepted to MICCAI 2025, for the following workshop: ML-CDS 2025: Multimodal Learning and Fusion Across Scales for Clinical Decision Support