一种用于全切片图像分类的图-Transformer
计算机视觉与模式识别
2022-05-20 v1
摘要
深度学习是全切片图像（WSI）分析的强大工具。通常，在执行有监督深度学习时，将WSI划分为小块进行训练，并汇总结果以估计疾病分级。然而，基于块的方法在训练时假设每个块独立且与WSI标签相同，引入了标签噪声，且忽略了在疾病分级中至关重要的整体WSI级信息。本文提出一种图-Transformer（GT），其融合基于图的WSI表示与用于处理病理图像的视觉Transformer，称为GTP，以预测疾病分级。我们从临床蛋白组肿瘤分析联盟（CPTAC）、国家肺部筛查试验（NLST）和癌症基因组图谱（TCGA）中选取张WSI，并使用GTP区分腺癌（LUAD）和鳞状细胞癌（LSCC）与邻近非癌组织（正常）。首先，利用NLST数据，我们开发了对比学习框架以生成特征提取器。这使我们能计算单个WSI块的特征向量，用于表征图的节点，随后构建GTP框架。我们的模型在CPTAC数据上训练，基于五折交叉验证在三分类（正常 vs LUAD vs LSCC：平均准确率 ）上取得稳定高性能，在外部测试数据（TCGA）上平均准确率 。我们还引入一种基于图的显著性映射技术，称为GraphCAM，可识别与类标签高度相关的区域。我们的结果表明GTP是一种可解释且高效的对WSI级分类深度学习框架。
引用
@article{arxiv.2205.09671,
title = {A graph-transformer for whole slide image classification},
author = {Yi Zheng and Rushin H. Gindra and Emily J. Green and Eric J. Burks and Margrit Betke and Jennifer E. Beane and Vijaya B. Kolachalama},
journal= {arXiv preprint arXiv:2205.09671},
year = {2022}
}