联合建模组织学和分子标记用于癌症分类
计算机视觉与模式识别
2025-02-13 v1
摘要
癌症以显著的异质性和多样化的预后为特征。准确的癌症分类对于患者分层和临床决策至关重要。尽管数字病理学正在推动癌症诊断和预后，但癌症病理学的范式已从仅依赖组织学特征转向融合分子标记。迫切需要数字病理学方法满足新范式的需求。我们引入一种新型数字病理学方法，用于联合预测分子标记和组织学特征并建模其相互作用进行癌症分类。首先，为缓解跨放大率信息传播的挑战，我们提出一种多尺度解耦模块，使从高放大率（细胞水平）到低放大率（组织水平）的全切片图像能够提取多尺度特征。进一步地，基于多尺度特征，我们提出一种基于注意力的层次化多任务多实例学习框架，用于同时预测组织学和分子标记。此外，我们提出一种基于共现概率的标签相关图网络，用于建模分子标记的共现。最后，我们设计了一个具有动态置信度约束损失和跨模态梯度调制策略的跨模态交互模块，用于建模组织学和分子标记的相互作用。我们的实验表明，该方法在对骨髓浆细胞瘤、组织学特征和分子标记进行分类方面优于其他 state-of-the-art 方法。该方法有望推动精密医疗，潜在可推动生物医学研究和临床应用。代码已在 https://github.com/LHY1007/M3C2 提供。
引用
@article{arxiv.2502.07979,
title = {Joint Modelling Histology and Molecular Markers for Cancer Classification},
author = {Xiaofei Wang and Hanyu Liu and Yupei Zhang and Boyang Zhao and Hao Duan and Wanming Hu and Yonggao Mou and Stephen Price and Chao Li},
journal= {arXiv preprint arXiv:2502.07979},
year = {2025}
}
备注
accepted by Medical Image Analysis