基于全切片图像的注意力引导深度多示例学习网络癌症生存预测
图像与视频处理
2020-09-24 v1 计算机视觉与模式识别
摘要
传统基于图像的生存预测模型依赖于判别性斑块标注，这使得这些方法难以扩展至大型数据集。近期研究表明，在多示例学习（MIL）框架下，当分类任务中无标注可用时，其对组织病理学图像有用。不同于当前局限于从全切片图像（WSIs）导出关键斑块或聚类的基于图像的生存模型，我们提出深度注意力多示例生存学习（DeepAttnMISL），引入连体 MI-FCN 与基于注意力的 MIL 池化，以高效从 WSI 学习影像特征，再将 WSI 级信息聚合至患者级。基于注意力的聚合比近期生存模型中的聚合技术更灵活自适应。我们在两个大型癌症全切片图像数据集上评估了方法，结果表明所提方法对大型数据集更有效且适用，并在定位有助于准确癌症生存预测的重要模式与特征方面具更好可解释性。所提框架亦可评估个体患者风险，从而辅助实现个性化医疗。代码见 https://github.com/uta-smile/DeepAttnMISL_MEDIA。
引用
@article{arxiv.2009.11169,
title = {Whole Slide Images based Cancer Survival Prediction using Attention Guided Deep Multiple Instance Learning Networks},
author = {Jiawen Yao and Xinliang Zhu and Jitendra Jonnagaddala and Nicholas Hawkins and Junzhou Huang},
journal= {arXiv preprint arXiv:2009.11169},
year = {2020}
}
备注
22 pages, 13 figures, published in Medical Image Analysis 65, 101789