HVTSurv：面向全切片图像患者级生存预测的分层视觉Transformer
计算机视觉与模式识别
2023-07-03 v1 人工智能
摘要
基于全切片图像（WSIs）的生存预测是一项具有挑战性的患者级多示例学习（MIL）任务。由于一名患者对应海量数据（一张或多张十亿像素级WSI）且WSI具有不规则形状特性，难以在患者级包中充分挖掘空间、上下文与分层交互。许多研究采用随机采样预处理策略与WSI级聚合模型，不可避免地丢失了患者级包中的关键预后信息。本文提出一种名为HVTSurv的分层视觉Transformer框架，能够编码局部级相对空间信息、增强WSI级上下文感知通信，并建立患者级分层交互。首先，我们设计了一种特征预处理策略，包括特征重排与随机窗口掩码。随后，我们设计了三层以渐进式获取患者级表征，包括采用曼哈顿距离的局部级交互层、采用空间混洗的WSI级交互层，以及使用注意力池化的患者级交互层。此外，分层网络的设计使模型计算更高效。最后，我们在来自癌症基因组图谱（TCGA）的6种癌症类型、3,104名患者和3,752张WSI上验证了HVTSurv。在6个TCGA数据集上，平均C-Index比所有先前的弱监督方法高出2.50%–11.30%。消融研究与注意力可视化进一步验证了所提HVTSurv的优越性。代码实现见：https://github.com/szc19990412/HVTSurv。
引用
@article{arxiv.2306.17373,
title = {HVTSurv: Hierarchical Vision Transformer for Patient-Level Survival Prediction from Whole Slide Image},
author = {Zhuchen Shao and Yang Chen and Hao Bian and Jian Zhang and Guojun Liu and Yongbing Zhang},
journal= {arXiv preprint arXiv:2306.17373},
year = {2023}
}
备注
accepted by AAAI 2023