基于时空 Transformer 的 3D 线粒体实例分割
图像与视频处理
2023-03-22 v1 计算机视觉与模式识别
摘要
在电子显微镜（EM）图像中准确的 3D 线粒体实例分割是一个具有挑战性的问题，并且是实证分析其分布与形态的先决条件。大多数现有方法采用 3D 卷积来获取代表性特征。然而，这些基于卷积的方法由于其有限的局部感受野，难以有效捕获体数据线粒体中的长程依赖关系。为此，我们提出了一种基于分离式时空注意力模块的混合编码器-解码器框架，该模块高效地并行计算空间和时间自注意力，随后通过可变形卷积进行融合。此外，我们在训练时引入了一种语义前景-背景对抗损失，有助于从背景杂波中勾勒出线粒体实例区域。我们在 Lucchi、MitoEM-R 和 MitoEM-H 三个基准上的大量实验揭示了所提贡献的优势，在所有三个数据集上均取得了最先进的结果。我们的代码和模型可在 https://github.com/OmkarThawakar/STT-UNET 获取。
引用
@article{arxiv.2303.12073,
title = {3D Mitochondria Instance Segmentation with Spatio-Temporal Transformers},
author = {Omkar Thawakar and Rao Muhammad Anwer and Jorma Laaksonen and Orly Reiner and Mubarak Shah and Fahad Shahbaz Khan},
journal= {arXiv preprint arXiv:2303.12073},
year = {2023}
}
备注
8 pages, 3 figures, 5 Tables, 2 page references