基于视觉变换器的多模态到单模态淋巴瘤分型模型知识迁移框架
图像与视频处理
2024-07-24 v3 计算机视觉与模式识别
定量方法
摘要
确定淋巴瘤亚型是更好地靶向患者治疗、潜在提高其生存机会的关键步骤。在此背景下，现有的金标准诊断方法依赖基因表达技术，成本高且耗时，可及性较低。尽管存在基于 IHC（免疫组织化学）技术的替代诊断方法（由 WHO 推荐），它们仍受类似限制且准确性较低。使用深度学习模型的整张切片图像（WSI）分析在癌症诊断中展现出良好潜力，可提供更经济、更快速的传统方法替代方案。本工作中，我们提出一种基于视觉变换器的框架，用于从高分辨率 WSI 中区分 DLBCL（弥漫大 B 细胞淋巴瘤）癌症亚型。为此，我们引入一种多模态架构，从多种 WSI 模态训练分类器模型。随后通过知识蒸馏过程利用该模型高效指导单模态分类器的学习。我们在 157 名患者的淋巴瘤数据集上的实验研究表明，我们的单模态分类模型性能优异，优于六种近期最先进方法。此外，基于实验数据估计的幂律曲线表明，若从合理数量的额外患者处获得更多训练数据，我们的模型可达到与 IHC 技术竞争的诊断准确率。进一步，我们通过在外部乳腺癌数据集（BCI 数据集）上的额外实验研究证实了框架的有效性。
引用
@article{arxiv.2308.01328,
title = {A vision transformer-based framework for knowledge transfer from multi-modal to mono-modal lymphoma subtyping models},
author = {Bilel Guetarni and Feryal Windal and Halim Benhabiles and Marianne Petit and Romain Dubois and Emmanuelle Leteurtre and Dominique Collard},
journal= {arXiv preprint arXiv:2308.01328},
year = {2024}
}