Context-aware Skin Cancer Epithelial Cell Classification with Scalable Graph Transformers

癌症患者的全切片图像(WSI)包含可用于医学诊断或随访治疗进展的丰富信息。为自动化其分析，已开发出诸多基于卷积神经网络和视觉转换器的深度学习方法，在分割和分类任务中取得了强大的性能。然而，由于 WSI 的大规模和复杂细胞组织结构，这些模型依赖基于补丁的表示，丢失了至关重要的组织水平上下文。我们提出在完整 WSI 细胞图上使用可扩展图转换器进行分类。我们在一项具有挑战性的任务上评估了该方法：在切面鳞状细胞癌(cSCC)中区分健康表皮细胞和肿瘤表皮细胞的分类，由于两种细胞类型表形极其相似，对基于图像的方法而言难以区分。我们首先在单个 WSI 上比较了基于图像的方法和基于图的方法。图转换器模型 SGFormer 和 DIFFormer 在 3 折交叉验证中分别获得了 $85.2 \pm 1.5$ 和 $85.1 \pm 2.5$ 的平衡准确率，而最佳基于图像的方法达到 $81.2 \pm 3.0$。通过评估多个节点特征配置，我们发现最具信息量的表示结合了形态学和纹理特征，以及非表皮细胞的细胞类别，凸显了周围细胞上下文的重要性。随后我们将工作扩展到在多个来自多个患者的 WSI 上进行训练。为解决基于图像的模型的计算限制，我们从每幅图像中提取四个 $2560 \times 2560$ 像素的补丁并将其转换为图。在此设置下，DIFFormer 在 3 折交叉验证中获得了 $83.6 \pm 1.9$ 的平衡准确率，而最先进的基于图像模型 CellViT256 达到 $78.1 \pm 0.5$。