一种多视图动态融合框架：如何从多视图改进多模态脑肿瘤分割？
图像与视频处理
2020-12-22 v1 计算机视觉与模式识别
摘要
在诊断脑肿瘤时，医生通常分别通过观察轴位、冠状位和矢状位的多模态脑图像进行诊断，然后基于从多视图获得的信息做出综合决策以确认脑肿瘤。受此诊断过程启发，并为了进一步利用数据集中隐藏的 3D 信息，本文提出一种多视图动态融合框架以提升脑肿瘤分割性能。所提框架包括：1）多视图深度神经网络架构，其表示用于从不同视图分割脑肿瘤的多个学习网络，且每个深度神经网络对应于来自单一视图的多模态脑图像；2）动态决策融合方法，主要用于将多视图的分割结果融合为一个整体，并采用了投票法和加权平均法两种不同的融合方法来评估融合过程。此外，提出了由分割损失、过渡损失和决策损失组成的多视图融合损失，以促进多视图学习网络的训练过程，从而在融合分割结果的过程中以及训练学习网络的过程中保持外观与空间的一致性。\par 通过在 BRATS 2015 和 BRATS 2018 上评估所提框架，可以发现多视图的融合结果取得了优于单视图分割结果的性能，且所提多视图融合损失的有效性也得到了证明。此外，与其他同类方法相比，所提框架取得了更好的分割性能和更高的效率。
引用
@article{arxiv.2012.11211,
title = {A Multi-View Dynamic Fusion Framework: How to Improve the Multimodal Brain Tumor Segmentation from Multi-Views?},
author = {Yi Ding and Wei Zheng and Guozheng Wu and Ji Geng and Mingsheng Cao and Zhiguang Qin},
journal= {arXiv preprint arXiv:2012.11211},
year = {2020}
}
备注
21 pages, 6 figures