用于多器官分割的空间上下文感知自注意力模型
图像与视频处理
2020-12-18 v1 计算机视觉与模式识别
机器学习
摘要
多器官分割是深度学习在医学图像分析中最成功的应用之一。深度卷积神经网络(CNN)在 CT 或 MRI 图像上实现临床适用的图像分割性能方面已展现出巨大前景。最先进的 CNN 分割模型对输入图像施加 2D 或 3D 卷积，每种方法各有优劣：2D 卷积速度快、内存占用少，但不利于从体图像中提取 3D 上下文信息，而 3D 卷积则相反。为了在商用 GPU 上拟合 CT 或 MRI 图像的 3D CNN 模型，通常不得不对输入图像降采样或使用裁剪的局部区域作为输入，这限制了 3D 模型在多器官分割中的效用。本工作中，我们提出一种结合 3D 与 2D 模型的新框架，其中分割通过高分辨率 2D 卷积实现，但由从低分辨率 3D 模型提取的空间上下文信息引导。我们实现一种自注意力机制来控制应使用哪些 3D 特征引导 2D 分割。我们的模型内存占用低，但能充分考量 3D 上下文信息。在多器官分割数据集上的实验表明，通过利用 2D 与 3D 模型两者，我们的方法在器官分割精度上持续优于现有 2D 和 3D 模型，同时能够直接以原始全体积图像数据作为输入。
引用
@article{arxiv.2012.09279,
title = {Spatial Context-Aware Self-Attention Model For Multi-Organ Segmentation},
author = {Hao Tang and Xingwei Liu and Kun Han and Shanlin Sun and Narisu Bai and Xuming Chen and Huang Qian and Yong Liu and Xiaohui Xie},
journal= {arXiv preprint arXiv:2012.09279},
year = {2020}
}
备注
Accepted WACV 2021