MMLNB：辅助文本描述生成的多模态学习神经母肿瘤亚型分类
计算机视觉与模式识别
2025-03-20 v2 人工智能
摘要
神经母肿瘤（NB）是儿童癌症死亡率最高的原因之一，其组织学变异性显著，亟需精确亚型分层以制定准确的预后和治疗方案。传统诊断方法依赖主观评估，耗时且一致性差。为此，我们引入 MMLNB（Multi-Modal Learning for Neuroblastoma Subtyping Classification），一种多模态学习（MML）模型，将病理图像与生成的文本描述相结合，以提高分类精度和可解释性。该方法包含两个阶段：第一阶段，我们微调视觉-语言模型（VLM），以增强病理感知的文本生成能力。第二阶段，利用双分支架构独立提取视觉和文本特征，然后通过渐进鲁棒性多模态融合（PRMF）块进行特征融合，以实现稳定训练。实验结果表明，MMLNB 模型在分类准确率上优于单模态模型。消融研究进一步证明了多模态融合、微调以及 PRMF 机制的重要性。该研究为数字病理学中的 NB亚型分类提供了一个可扩展的人工智能驱动框架，显著提升了诊断的可靠性和可解释性。我们的源代码已公开于 https://github.com/HovChen/MMLNB。
引用
@article{arxiv.2503.12927,
title = {MMLNB: Multi-Modal Learning for Neuroblastoma Subtyping Classification Assisted with Textual Description Generation},
author = {Huangwei Chen and Yifei Chen and Zhenyu Yan and Mingyang Ding and Chenlei Li and Zhu Zhu and Feiwei Qin},
journal= {arXiv preprint arXiv:2503.12927},
year = {2025}
}
备注
25 pages, 7 figures