CellCentroidFormer：结合自注意力与卷积进行细胞检测
图像与视频处理
2022-06-15 v2 计算机视觉与模式识别
摘要
显微镜图像中的细胞检测对于研究细胞如何移动并与其环境相互作用十分重要。大多数近期基于深度学习的细胞检测方法使用卷积神经网络（CNNs）。然而，受其他计算机视觉应用成功的启发，视觉Transformer（ViTs）也被用于此目的。我们提出一种用于显微镜图像细胞检测的新型CNN-ViT混合模型，以利用两类深度学习模型的优势。我们采用在ImageNet数据集上预训练的高效CNN来提取图像特征，并利用迁移学习减少所需训练数据量。提取的图像特征进一步由卷积层与Transformer层组合处理，使卷积层聚焦于局部信息，Transformer层聚焦于全局信息。我们基于质心的细胞检测方法将细胞表示为椭圆，且可端到端训练。此外，我们表明所提模型在四个不同2D显微镜数据集上优于全卷积单阶段检测器。代码见：https://github.com/roydenwa/cell-centroid-former
引用
@article{arxiv.2206.00338,
title = {CellCentroidFormer: Combining Self-attention and Convolution for Cell Detection},
author = {Royden Wagner and Karl Rohr},
journal= {arXiv preprint arXiv:2206.00338},
year = {2022}
}
备注
Accepted at MIUA 2022; Added experiments with CircleNets and extended figure captions