基于稀疏上下文感知的多实例学习框架用于预测Whole Slide Image中癌症生存概率分布
计算机视觉与模式识别
2024-10-23 v2 人工智能
摘要
癌症生存预测是一个具有挑战性的任务，涉及分析Whole Slide Image(WSI)中肿瘤微环境。以往的方法无法有效捕获WSI局部区域内实例之间复杂的相互作用特征。此外，基于WSI的癌症生存预测方法往往难以提供更具临床意义的预测。为克服这些挑战，我们提出了稀疏上下文感知多实例学习(SCMIL)框架，用于预测癌症生存概率分布。SCMIL创新性地根据patch的形态特征和空间位置信息将其分割为多个簇，然后利用稀疏自注意力机制从上下文感知的角度辨识这些patch之间的关系。鉴于许多patch与任务无关，我们引入一种名为SoftFilter的可学习的patch过滤模块，确保仅考虑与任务相关的patch之间的相互作用。为增强预测的临床相关性，我们提出了一种基于注册的混合密度网络，用于为单个患者预测生存概率分布。我们在The Cancer Genome Atlas(TCGA)的两个公开WSI数据集上对SCMIL进行评估，具体 focuses on肺腺癌(LUAD)和肾细胞癌(KIRC)。我们的实验结果表明，SCMIL在生存预测方面优于当前的领先方法，提供更具临床意义和可解释性的结果。我们的代码可在https://github.com/yang-ze-kang/SCMIL访问。
引用
@article{arxiv.2407.00664,
title = {SCMIL: Sparse Context-aware Multiple Instance Learning for Predicting Cancer Survival Probability Distribution in Whole Slide Images},
author = {Zekang Yang and Hong Liu and Xiangdong Wang},
journal= {arXiv preprint arXiv:2407.00664},
year = {2024}
}
备注
Accepted by MICCAI2024