基于异质图表示学习的全切片组织病理学图像分析
计算机视觉与模式识别
2023-07-11 v1
摘要
由于能够建模不同实体间的空间关系,基于图的方法已被广泛应用于全切片组织病理学图像(WSI)分析。然而,现有大多数方法侧重于用同质图(例如具有同质节点类型)对 WSI 建模。尽管取得了成功,这些工作无法挖掘 WSI 中生物实体之间(例如不同细胞类型间的多样相互作用)的复杂结构关系。我们提出了一种新颖的基于异质图的框架,以利用不同类型细胞核之间的相互关系进行 WSI 分析。具体而言,我们将 WSI 公式化为一个异质图,其中每个节点带有“核类型”属性,每条边带有语义相似度属性。接着我们提出一种新的异质图边属性变换器(HEAT),以在消息聚合过程中利用边与节点的异质性。此外,我们设计了一种新的基于伪标签的语义一致池化机制来获取图级特征,这可以缓解传统基于聚类的池化的过参数化问题。另外,观察到现有基于关联的定位方法的局限性,我们提出了一种因果驱动的方法,通过归因每个节点的贡献来提升框架的可解释性。在三个公共 TCGA 基准数据集上的大量实验表明,我们的框架在各种任务上以可观的优势优于最先进的方法。我们的代码可在 https://github.com/HKU-MedAI/WSI-HGNN 获取。
引用
@article{arxiv.2307.04189,
title = {Histopathology Whole Slide Image Analysis with Heterogeneous Graph Representation Learning},
author = {Tsai Hor Chan and Fernando Julio Cendra and Lan Ma and Guosheng Yin and Lequan Yu},
journal= {arXiv preprint arXiv:2307.04189},
year = {2023}
}
备注
Accepted by CVPR 2023