ModDrop++：面向模态缺失下多发性硬化病灶分割的动态滤波器网络与被试内协同训练
图像与视频处理
2022-07-05 v2 计算机视觉与模式识别
摘要
多发性硬化是一种慢性神经炎症性疾病，多模态磁共振成像常用于监测MS病灶。目前已开发出许多自动MS病灶分割模型，并已达到人类水平的性能。然而，大多数现有方法假设训练期间使用的MRI模态在测试期间也可用，这在临床实践中无法保证。此前，一种称为模态丢弃的训练策略已被应用于MS病灶分割，以在模态缺失的情况下取得SOTA性能。在本文中，我们提出了一种名为ModDrop++的新方法，用于训练一个适应任意数量输入MRI序列的统一网络。ModDrop++从两个关键方面对ModDrop的主要思想进行了升级。首先，我们设计了一个即插即用的动态头，并采用滤波器缩放策略来提升网络的表达能力。其次，我们设计了一种协同训练策略，以利用完整模态与缺失模态之间的被试内关系。具体而言，被试内协同训练策略旨在引导动态头为来自同一被试的完整模态和缺失模态数据生成相似的特征表示。我们使用两个公开的MS数据集展示了ModDrop++的优越性。源代码和训练好的模型可在 https://github.com/han-liu/ModDropPlusPlus 获取。
引用
@article{arxiv.2203.04959,
title = {ModDrop++: A Dynamic Filter Network with Intra-subject Co-training for Multiple Sclerosis Lesion Segmentation with Missing Modalities},
author = {Han Liu and Yubo Fan and Hao Li and Jiacheng Wang and Dewei Hu and Can Cui and Ho Hin Lee and Huahong Zhang and Ipek Oguz},
journal= {arXiv preprint arXiv:2203.04959},
year = {2022}
}
备注
MICCAI 2022