ConceptM$^3$oE：面向可解释计算病理学的概念引导多模态混合专家模型
人工智能
2026-05-29 v2
摘要
医疗模型正从单模态预测向对异构诊断输入进行多模态推理的转变。在计算病理学中，对于 morphology alone 难以区分的复杂肿瘤亚型，病理报告和分子测量可能提供额外的诊断证据，尽管存在全切片图像，但现有模型常常无法阐明如何将这些异构信号汇聚成可识别的诊断概念。我们提出ConceptMoE（Concept Multimodal MoE），在具备交互感知的混合专家（MoE）路径中嵌入概念形成。该架构将证据分解为模态特定、冗余和协同作用的专家，然后投射到结构化概念瓶颈中，将潜在特征映射到形态学和生物标志物概念的层次结构。为防止可解释瓶颈导致信息损失，我们在每个专家中利用残差路径，允许任务相关信号通过概念直接传递到最终任务预测，从而在保持可解释性的同时维持高性能。在一个机构的儿童脑肿瘤队列和一个公开的脑肿瘤队列中，该框架为无约束模型提供了竞争性的性能，同时产生的推理痕迹经独立的神经病理学家验证。在数据有限的 regime 中，ConceptMoE改进了有限数据性能，将在小规模训练下的宏观F1分数从56.41%提升至66.70%，同时显示出更快的训练收敛，这与概念学习的正则化效应一致。这一工作为通向高性能医学AI之路，使之本质上可验证且更贴合临床实践中复杂决策过程。
引用
@article{arxiv.2605.24399,
title = {ConceptM$^3$oE: Concept-Guided Multimodal Mixture of Experts for Interpretable Computational Pathology},
author = {Xuan Wang and Zhongling Xu and Gopi Kannedhara and Joakim Nguyen and Jian Yu and Jinrui Fang and Abdurrahmaan Baghdadi and Tianlong Chen and Awais Naeem and Chandra Krishnan and Edward Castillo and Andrew H. Song and Ankita Shukla and Ying Ding and Nicholas Konz and Hairong Wang},
journal= {arXiv preprint arXiv:2605.24399},
year = {2026}
}