基于可解释组织病理学、利用弱监督深度学习预测炎症性肠病活检中疾病相关特征
图像与视频处理
2023-05-17 v2 计算机视觉与模式识别
摘要
克罗恩病（CD）和溃疡性结肠炎（UC）是炎症性肠病（IBD）的两种主要类型。我们开发了深度学习模型，仅使用内镜标签来识别 CD 和 UC 的组织学疾病特征。我们探索了对两个最先进的自监督模型进行微调与端到端训练，以预测三种不同的内镜类别：（i）CD 与 UC（AUC=0.87），（ii）正常与病变（AUC=0.81），（iii）低与高疾病严重度评分（AUC=0.80）。我们生成了视觉注意力图以解释模型所学内容，并在病理医生支持下进行验证，观察到模型预测与疾病的组织病理学炎症特征之间存在强关联。此外，我们发现了若干模型将正常样本误判为病变、但经病理医生复核在显微层面确为正确的案例。这种组织学表现比内镜表现更严重的倾向此前已有文献发表。同时，我们利用在 Colon Nuclei Identification and Counting（CoNIC）数据集上训练的模型预测并探索了 6 类细胞群体。我们观察到活检中预测免疫细胞富集区域与病理医生对注意力图的反馈之间存在相关性。最后，我们确定了若干指示 CD 和 UC 疾病严重度的细胞层面特征。这些模型能增进我们对 IBD 背后病理的理解，并可为临床试验中的患者分层策略提供依据。
引用
@article{arxiv.2303.12095,
title = {Interpretable histopathology-based prediction of disease relevant features in Inflammatory Bowel Disease biopsies using weakly-supervised deep learning},
author = {Ricardo Mokhtari and Azam Hamidinekoo and Daniel Sutton and Arthur Lewis and Bastian Angermann and Ulf Gehrmann and Pal Lundin and Hibret Adissu and Junmei Cairns and Jessica Neisen and Emon Khan and Daniel Marks and Nia Khachapuridze and Talha Qaiser and Nikolay Burlutskiy},
journal= {arXiv preprint arXiv:2303.12095},
year = {2023}
}
备注
Accepted to the Medical Imaging with Deep Learning (MIDL'23)