CellViT++：使用基础模型的节能自适应细胞分割与分类

数字病理学是疾病诊断和治疗的基石。该领域的一个关键任务是识别和分割苏木精-伊红染色图像中的细胞。现有的细胞分割方法通常需要大量标注数据集进行训练，并且局限于预定义的细胞分类方案。为了克服这些限制，我们提出了$\text{CellViT}^{{\scriptscriptstyle ++}}$，一个用于数字病理学中通用细胞分割的框架。$\text{CellViT}^{{\scriptscriptstyle ++}}$利用视觉Transformer与基础模型作为编码器，同时计算深度细胞特征和分割掩码。为了适应未见过的细胞类型，我们采用了一种计算高效的方法。它只需要最少的数据进行训练，并导致碳足迹大幅减少。我们在七个不同的数据集上展示了出色的性能，涵盖了广泛的细胞类型、器官和临床环境。该框架实现了卓越的零样本分割和数据高效的细胞类型分类。此外，我们展示了$\text{CellViT}^{{\scriptscriptstyle ++}}$可以利用免疫荧光染色生成训练数据集，无需病理学家标注。自动数据集生成方法超越了在人工标注数据上训练的网络性能，证明了其在无需专家标注的情况下创建高质量训练数据集的有效性。为了推动数字病理学发展，$\text{CellViT}^{{\scriptscriptstyle ++}}$作为开源框架提供，具有用户友好的基于Web的界面用于可视化和标注。代码可在https://github.com/TIO-IKIM/CellViT-plus-plus获取。