trAIce3D：基于 Prompt-Driven Transformer 的 U-Net，用于从大规模 3D 显微镜图像中对微胞质细胞进行语义分割

细胞的形状包含有关其功能的关键信息，这对于从大规模 3D 显微镜图像中对这些结构进行分割具有挑战性，尤其是对于微胞质细胞——涉及神经退行性疾病的免疫相关细胞——更为如此。现有分割方法主要聚焦于细胞体，难以处理重叠结构，在噪声图像上表现不佳，需要为每个新数据集调整超参数，或依赖繁琐的半自动方法。我们引入 trAIce3D，一种为精确微胞质分割而设计的深度学习架构，能够捕获细胞体及其分支。它采用两阶段方法：首先，使用带有视觉 Transformer 的 3D U-Net 通过滑动窗口技术检测细胞体以覆盖整幅图像；随后，同一架构增强了的版本在跳跃连接中加入注意力块，通过将细胞体坐标作为提示并使用目标细胞周围的 3D 窗口作为输入来细化每个细胞及其分支。训练分为两个阶段：自监督的细胞体分割，随后是基于提示的分支分割，利用前一阶段预训练的权重。我们在 41,230 个微胞质细胞的数据集上训练和评估了 trAIce3D，显著提高了分割准确性和泛化能力，实现了复杂细胞形态的可扩展分析。虽然为微胞质细胞优化，但其架构可扩展到其他复杂细胞类型，如神经元和星形胶质细胞，拓宽了神经生物学研究的影响范围。