SPPNet:一种用于细胞核图像分割的单点提示网络
图像与视频处理
2023-08-24 v1 计算机视觉与模式识别
摘要
图像分割在细胞核图像分析中起着至关重要的作用。近来,segment anything model 在此类任务中取得了显著突破。然而,该模型在细胞分割方面存在两个主要问题:(1) segment anything model 的图像编码器包含大量参数,重新训练甚至微调该模型仍需昂贵的计算资源。(2) 在点提示模式下,点从真值中心采样,且期望多于一组点以实现可靠性能,这对实际应用而言效率不高。本文提出一种用于细胞核图像分割的单点提示网络,称为 SPPNet。我们用轻量视觉 transformer 替换原始图像编码器。同时,并行添加一个有效的卷积块以提取图像的低层语义信息,并弥补因小图像编码器导致的性能下降。我们提出一种基于高斯核的新点采样方法。所提模型在 MoNuSeg-2018 数据集上进行了评估。结果表明 SPPNet 优于现有 U 形架构,并展现出更快的训练收敛。与 segment anything model 相比,SPPNet 推理速度约快 20 倍,参数与计算成本为 1/70。特别地,在训练与推理阶段均仅需一组点,这对临床应用更为合理。我们的工作代码与更多技术细节可在 https://github.com/xq141839/SPPNet 获取。
引用
@article{arxiv.2308.12231,
title = {SPPNet: A Single-Point Prompt Network for Nuclei Image Segmentation},
author = {Qing Xu and Wenwei Kuang and Zeyu Zhang and Xueyao Bao and Haoran Chen and Wenting Duan},
journal= {arXiv preprint arXiv:2308.12231},
year = {2023}
}