GNNFormer：一种基于图的细胞病理学报告生成框架

细胞病理学报告生成是病理图像标准化检查的必需步骤。然而，手动撰写详细报告给病理医生带来沉重工作负担。为提高效率，一些已有工作研究了细胞病理学报告的自动生成，主要是应用为自然图像提出的视觉编码器之上的图像描述生成框架。这些工作的一个共同弱点在于未显式建模细胞间的结构信息，而这是病理图像的关键特征并为诊断提供重要信息。在本文中，我们提出一种称为 GNNFormer 的新型基于图的框架，将图神经网络（GNN）与 Transformer 无缝集成于同一框架中，用于细胞病理学报告生成。据我们所知，GNNFormer 是首个显式建模病理图像中细胞间结构信息的报告生成方法。它还有效融合细胞间结构信息、细胞的细粒度形态特征和背景特征以生成高质量报告。在 NMI-WSI 数据集上的实验结果表明，GNNFormer 可以优于其他最先进的基线方法。