基于注意力与动态重采样的最大融合 U-Net 多模态病理分割
图像与视频处理
2020-09-08 v1 人工智能
摘要
多序列（多模态）心脏磁共振（CMR）图像的自动分割在多种心脏疾病的诊断与管理中起着重要作用。然而，相关算法的性能受到多模态信息融合方式的显著影响。此外，特定疾病（如心肌梗死）在图像上呈现不规则形状，并随机占据小区域。这些事实使得多模态 CMR 图像的病理分割成为一项具有挑战性的任务。本文提出 Max-Fusion U-Net，在给定 LGE、T2 加权和 bSSFP 模态的对齐多模态图像时，实现了改进的病理分割性能。具体而言，模态特异性特征由专用编码器提取，随后通过逐像素最大值算子进行融合。这些表示与相应的编码特征一起，通过 U-Net 跳跃连接传播到解码层。此外，在最后的解码层应用空间注意力模块，以鼓励网络聚焦于那些由网络神经元触发相对较高响应的小的语义有意义病理区域。我们还采用简单的图像块提取策略，以变化的空间与批大小动态重采样训练样本。在有限的 GPU 内存下，该策略减少了类别不平衡，并迫使模型聚焦于感兴趣病理周围的区域，进一步提高了分割精度并减少了病理的误分类。我们使用结合涉及三种模态的多序列 CMR 数据集的心肌病理分割（MyoPS）数据集评估我们的方法。大量实验证明了所提模型的有效性，其优于相关基线。
引用
@article{arxiv.2009.02569,
title = {Max-Fusion U-Net for Multi-Modal Pathology Segmentation with Attention and Dynamic Resampling},
author = {Haochuan Jiang and Chengjia Wang and Agisilaos Chartsias and Sotirios A. Tsaftaris},
journal= {arXiv preprint arXiv:2009.02569},
year = {2020}
}
备注
13 pages, 7 figures, conference paper