Med-NCA:基于神经胞自动机的鲁棒轻量分割方法
图像与视频处理
2023-02-08 v1 计算机视觉与模式识别
机器学习
摘要
在使用深度学习进行医学图像分割时,获取适当的基础设施至关重要。这一要求使得在最先进分割模型难以在资源受限场景(如农村地区基层医疗点和危机期间)运行。新兴的神经胞自动机(NCA)领域已表明,局部交互的单细胞模型可在图像生成或低分辨率输入分割等任务中取得有竞争力的结果。然而,它们受限于高VRAM需求以及难以对高分辨率图像收敛。为克服这些局限,我们提出Med-NCA,一种用于高分辨率图像分割的端到端NCA训练流程。我们的方法遵循两步过程。首先在全下采样图像的细胞间传递全局知识,随后执行基于块的分割。我们提出的Med-NCA在海马体和前列腺分割上分别比经典UNet的Dice高2%和3%,同时模型小500倍。我们还表明Med-NCA天然对图像尺度、形状和平移不变,即便在强偏移下也仅轻微性能退化;并且对MRI采集伪影具有鲁棒性。Med-NCA即使在树莓派B+上也能实现高分辨率医学图像分割,这可以说是能运行PyTorch且可由标准充电宝供电的最小设备。
引用
@article{arxiv.2302.03473,
title = {Med-NCA: Robust and Lightweight Segmentation with Neural Cellular Automata},
author = {John Kalkhof and Camila González and Anirban Mukhopadhyay},
journal= {arXiv preprint arXiv:2302.03473},
year = {2023}
}