基于多模态知识分解的在线蒸馏用于乳腺癌组织病理学中的生物标志物预测
计算机视觉与模式识别
2025-08-26 v1
摘要
免疫组织化学（IHC）生物标志物预测受益于多模态数据融合分析。然而，由于成本或技术限制，同时获取多模态数据（如基因组和病理信息）往往具有挑战性。为此，我们提出一种基于多模态知识分解（MKD）的在线蒸馏方法，以增强乳腺癌H&E染色组织病理学图像中的IHC生物标志物预测。该方法在训练期间利用配对的基因组-病理数据，在推断时可仅使用病理切片或两种模态。开发了两个教师模型和一个学生模型，通过最小化MKD损失提取特定模态和通用特征。为维持样本之间内部结构关系，应用相似性保持知识蒸馏（SKD）。此外，协同学习用于在线蒸馏（CLOD）促进教师和学生模型之间的相互学习，鼓励多样且互补的学习动力学。在TCGA-BRCA和内部QHSU数据集上的实验表明，我们的方法在仅使用单模态数据时在IHC生物标志物预测方面实现了卓越的性能。我们的代码已公开于 https://github.com/qiyuanzz/MICCAI2025_MKD。
引用
@article{arxiv.2508.17213,
title = {Multi-modal Knowledge Decomposition based Online Distillation for Biomarker Prediction in Breast Cancer Histopathology},
author = {Qibin Zhang and Xinyu Hao and Qiao Chen and Rui Xu and Fengyu Cong and Cheng Lu and Hongming Xu},
journal= {arXiv preprint arXiv:2508.17213},
year = {2025}
}
备注
Accepted at MICCAI 2025