HIGT:用于全切片图像分析的分层交互图-Transformer
计算机视觉与模式识别
2023-09-15 v1
摘要
在计算病理学中,十亿像素全切片图像(WSIs)的金字塔结构近来被用于捕获从单个细胞交互到组织微环境的各类信息。这种分层结构被认为有益于癌症诊断与预后任务。然而,多数先前的分层 WSI 分析工作(1)仅刻画 WSI 金字塔内部的局部或全局关联,(2)仅使用不同分辨率间的单向交互,导致对 WSI 金字塔的刻画不完整。为此,本文提出一种新颖的分层交互图-Transformer(即 HIGT)用于 WSI 分析。以图神经网络与 Transformer 为通用构件,HIGT 可学习 WSI 金字塔的短程局部信息与长程全局表示。考虑到不同分辨率的信息在学习过程中互补且可相互增益,我们进一步设计了一种新颖的双向交互块,以建立 WSI 金字塔内不同层级间的通信。最后,我们将从不同层级学到的粗粒度与细粒度特征聚合在一起进行切片级预测。我们在来自 TCGA 项目的两个公开 WSI 数据集,即肾细胞癌(KICA)与食管癌(ESCA)上评估了方法。实验结果表明,在肿瘤亚型分型与分期任务上,我们的 HIGT 均优于分层与非分层的 SOTA 方法。
引用
@article{arxiv.2309.07400,
title = {HIGT: Hierarchical Interaction Graph-Transformer for Whole Slide Image Analysis},
author = {Ziyu Guo and Weiqin Zhao and Shujun Wang and Lequan Yu},
journal= {arXiv preprint arXiv:2309.07400},
year = {2023}
}
备注
Accepted by MICCAI2023; Code is available in https://github.com/HKU-MedAI/HIGT