利用元数据线性调节用于图像分割的益处
计算机视觉与模式识别
2021-04-27 v2 图像与视频处理
摘要
医学图像通常伴有描述图像（供应商、采集参数）和患者（疾病类型或严重程度、人口统计学、基因组学）的元数据。这些元数据通常被图像分割方法所忽略。在这项工作中，我们调整了一种称为 FiLM（特征线性调制，Feature-wise Linear Modulation）的线性调节方法用于图像分割任务。这种 FiLM 适配使得将元数据整合到分割模型中以获得更好的性能成为可能。我们观察到，在使用 FiLM 纳入肿瘤类型后，脊髓肿瘤分割的平均 Dice 分数提高了 5.1%。元数据通过对特征图施加低成本的仿射变换来调节分割过程，这些变换可包含在任何神经网络的架构中。此外，我们评估了分割 FiLM 层在应对医学成像中常见挑战方面的相关性：具有缺失分割的多类训练、模型对多任务的适配，以及使用有限或不平衡数量的标注数据进行训练。我们的结果展示了 FiLM 用于分割的以下益处：与单任务 U-Net 相比，FiLMed U-Net 对缺失标签具有鲁棒性，并且在少量标签下（高达 16.7%）达到了更高的 Dice 分数。代码是开源的，可在 www.ivadomed.org 获取。
引用
@article{arxiv.2102.09582,
title = {Benefits of Linear Conditioning with Metadata for Image Segmentation},
author = {Andreanne Lemay and Charley Gros and Olivier Vincent and Yaou Liu and Joseph Paul Cohen and Julien Cohen-Adad},
journal= {arXiv preprint arXiv:2102.09582},
year = {2021}
}
备注
Accepted at MIDL 2021