基于风格迁移归一化与半监督 ViT 知识蒸馏网络的结直肠肝转移生存预测
图像与视频处理
2023-11-20 v1 计算机视觉与模式识别
摘要
结直肠肝转移（CLM）对结肠癌患者影响显著，其生存情况取决于全身化疗反应。传统方法如肿瘤分级评分（例如肿瘤退缩分级——TRG）用于预后判断存在主观性、耗时及依赖专业知识等缺陷。当前机器学习方法多关注放射学数据，然而组织学图像在捕捉复杂肿瘤微环境特征方面对生存预测的相关性正日益获得认可。为应对这些局限，我们提出一种端到端方法，利用 H&E 和 HPS 染色的组织学切片进行自动化预后预测。我们首先采用生成对抗网络（GAN）进行切片归一化，以减少染色差异并提升作为预测流程输入的图像整体质量。我们提出一种半监督模型，从稀疏标注中执行组织分类，生成特征图。我们采用基于注意力的方法，权衡不同切片区域在生成最终分类结果中的重要性。我们利用提取的转移结节及周围组织特征训练预后模型。同时，我们在知识蒸馏框架中训练视觉 Transformer（ViT）以复现并增强预后预测的性能。在 258 名患者的临床数据集评估中，我们的方法表现出优越性能，OS 的 c-index 为 0.804（0.014），TTR 为 0.733（0.014）。在预测 TRG 二分类任务中达到 86.9% 至 90.3% 准确率，在 3 类 TRG 分类任务中达到 78.5% 至 82.1% 准确率，我们的方法优于对比方法。我们提出的流程可为病理学家和肿瘤学家提供自动化预后，并能极大促进 CLM 患者精准医学的进展。
引用
@article{arxiv.2311.10305,
title = {Semi-supervised ViT knowledge distillation network with style transfer normalization for colorectal liver metastases survival prediction},
author = {Mohamed El Amine Elforaici and Emmanuel Montagnon and Francisco Perdigon Romero and William Trung Le and Feryel Azzi and Dominique Trudel and Bich Nguyen and Simon Turcotte and An Tang and Samuel Kadoury},
journal= {arXiv preprint arXiv:2311.10305},
year = {2023}
}
备注
16 pages, 7 figures and 7 tables. Submitted to Medical Journal Analysis (MedIA) journal