MulGT:面向全切片图像分析的任务感知知识注入与领域知识驱动池化的多任务图-Transformer
计算机视觉与模式识别
2023-03-31 v3 人工智能
摘要
全切片图像(WSI)已广泛用于深度学习领域辅助自动化诊断。然而,以往工作多仅讨论单任务设定,这与真实临床环境不符——病理学家常同时开展多项诊断任务。同时,普遍认为多任务学习范式可通过利用多任务间的共性与差异提升学习效率。为此,我们提出一种新颖的 WSI 分析多任务框架(即 MulGT),其由专门设计的图-Transformer 构成,配备任务感知知识注入与领域知识驱动图池化模块。基本上,以图神经网络和 Transformer 为公共构件,我们的框架能学习任务无关的底层局部信息及任务特定的高层全局表示。考虑到 WSI 分析中不同任务依赖于不同特征与属性,我们还设计了新颖的任务感知知识注入模块,将任务共享图嵌入转化至任务特定特征空间,以为不同任务学习更精确的表示。进一步,我们为每个任务精心设计了新颖的领域知识驱动图池化模块,通过利用多任务的不同诊断模式提升各任务的准确性与鲁棒性。我们在来自 TCGA 项目的两个公开 WSI 数据集(即食管癌与肾癌)上评估了方法。实验结果表明,我们的方法在肿瘤分型与分期任务上均优于单任务对应方法及最先进(state-of-the-art)方法。
引用
@article{arxiv.2302.10574,
title = {MulGT: Multi-task Graph-Transformer with Task-aware Knowledge Injection and Domain Knowledge-driven Pooling for Whole Slide Image Analysis},
author = {Weiqin Zhao and Shujun Wang and Maximus Yeung and Tianye Niu and Lequan Yu},
journal= {arXiv preprint arXiv:2302.10574},
year = {2023}
}
备注
AAAI 2023