用于组织病理学全切片图像表示与分类的集成图-Transformer框架
图像与视频处理
2024-03-28 v1 计算机视觉与模式识别
摘要
在数字病理学中，多实例学习（MIL）策略被广泛用于弱监督的组织病理学全切片图像（WSI）分类任务，其中千兆像素的WSI仅在切片级别进行标注。然而，现有的基于注意力的MIL方法通常忽略上下文信息和相邻组织块之间的内在空间关系，而基于图的MIL框架识别长程依赖关系的能力有限。在本文中，我们引入了集成图-Transformer框架，通过新颖的图Transformer集成（GTI）块同时捕获上下文感知的关系特征和全局WSI表示。具体来说，每个GTI块由一个在局部实例级别建模邻居关系的图卷积网络（GCN）层和一个从大量特征嵌入中捕获全面全局信息的高效全局注意力模型组成。在三个公开可用的WSI数据集：TCGA-NSCLC、TCGA-RCC和BRIGHT上进行的大量实验表明，我们的方法优于当前最先进的MIL方法，在准确率上提高了1.0%至2.6%，在AUROC上提高了0.7%至1.6%。
引用
@article{arxiv.2403.18134,
title = {Integrative Graph-Transformer Framework for Histopathology Whole Slide Image Representation and Classification},
author = {Zhan Shi and Jingwei Zhang and Jun Kong and Fusheng Wang},
journal= {arXiv preprint arXiv:2403.18134},
year = {2024}
}