CellViT：用于精确细胞分割与分类的视觉Transformer
图像与视频处理
2023-10-09 v2 计算机视觉与模式识别
机器学习
摘要
苏木精-伊红染色（H&E）组织图像中的细胞核检测与分割是重要的临床任务，对广泛应用至关重要。然而，由于细胞核在染色和大小上的差异、重叠边界以及细胞核聚集，这是一项具有挑战性的任务。尽管卷积神经网络已广泛用于该任务，我们探索了基于Transformer的网络在该领域的潜力。因此，我们提出了一种利用基于视觉Transformer（Vision Transformer）的深度学习架构（称为CellViT）对数字化组织样本中的细胞核进行自动实例分割的新方法。CellViT在PanNuke数据集上训练和评估，该数据集是最具挑战性的细胞核实例分割数据集之一，包含近200,000个标注的细胞核，分为19种组织类型中的5个临床重要类别。我们通过利用最近发布的Segment Anything Model和在1.04亿个组织学图像块上预训练的ViT编码器，展示了大规模域内和域外预训练视觉Transformer的优越性——在PanNuke数据集上实现了最先进的细胞核检测和实例分割性能，平均全景质量（panoptic quality）为0.50，F1检测得分为0.83。代码公开于 https://github.com/TIO-IKIM/CellViT
引用
@article{arxiv.2306.15350,
title = {CellViT: Vision Transformers for Precise Cell Segmentation and Classification},
author = {Fabian Hörst and Moritz Rempe and Lukas Heine and Constantin Seibold and Julius Keyl and Giulia Baldini and Selma Ugurel and Jens Siveke and Barbara Grünwald and Jan Egger and Jens Kleesiek},
journal= {arXiv preprint arXiv:2306.15350},
year = {2023}
}
备注
18 pages, 5 figures, appendix included