基于实例的视觉Transformer用于组织病理图像中乳头状肾细胞癌亚型分类
计算机视觉与模式识别
2021-06-24 v1
摘要
乳头状(p)肾细胞癌(RCC)的组织学亚型(1型与2型)是一项重要的预后因素。pRCC的两种亚型具有相似的模式,即乳头状结构,但在细胞和细胞层水平模式上存在一些细微差异。然而,在大型组织病理图像中,现有的基于CNN的模型几乎无法捕捉细胞和细胞层水平的模式,这给直接将这些模型应用于此类细粒度分类任务带来了障碍。本文提出一种新颖的基于实例的视觉Transformer(i-ViT),通过从实例块(在分割的细胞核周围裁剪并赋予预测等级)中提取更精细的特征,为pRCC亚型分类任务学习组织病理图像的鲁棒表示。所提出的i-ViT以top-K实例作为输入,并通过位置嵌入层、等级嵌入层和多头多层自注意力模块对其进行聚合,以捕捉细胞和细胞层水平的模式。为评估所提出框架的性能,我们邀请经验丰富的病理学家从171张1型和2型pRCC全切片图像中筛选出1162个感兴趣区域。实验结果表明,所提出的方法以显著优势优于现有的基于CNN的模型。
引用
@article{arxiv.2106.12265,
title = {Instance-based Vision Transformer for Subtyping of Papillary Renal Cell Carcinoma in Histopathological Image},
author = {Zeyu Gao and Bangyang Hong and Xianli Zhang and Yang Li and Chang Jia and Jialun Wu and Chunbao Wang and Deyu Meng and Chen Li},
journal= {arXiv preprint arXiv:2106.12265},
year = {2021}
}
备注
Accepted by MICCAI 2021