结合自注意力多示例学习与循环神经网络、基于 H&E 图像的可解释端到端前列腺癌复发预测
计算机视觉与模式识别
2021-11-29 v1 机器学习
摘要
针对组织病理学图像数据的临床决策支持主要聚焦于强监督标注，这提供了直观的可解释性，但受限于专家的表现。在此，我们提出了一种可解释的癌症复发预测网络 (eCaReNet)，并表明在没有强标注情况下的端到端学习可提供 SOTA 性能，同时可通过注意力机制引入可解释性。在前列腺癌生存预测的应用场景中，使用 14,479 张图像且仅以复发时间作为标注，我们在验证集上达到了 0.78 的累积动态 AUC，与专家病理学家表现相当（在单独的测试集上 AUC 为 0.77）。我们的模型校准良好，并输出生存曲线以及每位患者的风险评分与风险组。利用多示例学习层的注意力权重，我们证明了恶性图像块对预测的影响高于良性图像块，从而为预测提供了直观的解释。我们的代码可在 www.github.com/imsb-uke/ecarenet 获取。
引用
@article{arxiv.2111.13439,
title = {Towards Explainable End-to-End Prostate Cancer Relapse Prediction from H&E Images Combining Self-Attention Multiple Instance Learning with a Recurrent Neural Network},
author = {Esther Dietrich and Patrick Fuhlert and Anne Ernst and Guido Sauter and Maximilian Lennartz and H. Siegfried Stiehl and Marina Zimmermann and Stefan Bonn},
journal= {arXiv preprint arXiv:2111.13439},
year = {2021}
}
备注
Accepted as a regular conference paper at ML4H 2021