面向儿童脑肿瘤分类的可解释多模态交互专家 PathMoE
计算机视觉与模式识别
2026-03-03 v1
摘要
儿童中枢神经系统肿瘤的分类由于组织学复杂性和有限训练数据而具有挑战性。虽然病理基础模型已推进整块切片（WSI）分析，但往往无法利用临床文本和组织微结构中所蕴含的丰富、互补信息。为此，我们提出 PathMoE，一个可解释的多模态框架，通过交互感知的混合专家架构集成 H&E 切片、病理报告和核水平细胞图谱，基于每个模态的最先进基础模型构建。通过训练专门捕获模态独特性、冗余性和协同性的专家，PathMoE 采用输入依赖的门控机制动态加权这些交互，提供样本级别的可解释性。在我们在内部儿童脑肿瘤数据集（PBT）和外部 TCGA 数据集上的两个数据集特定分类任务中进行评估。PathMoE 在 PBT 上将宏平均 F1 分数从 0.762 提升到 0.799（提升 0.037）；在 TCGA 上，将 WSI 与图谱知识集成后将宏平均 F1 分数从 0.668 提升到 0.709（提升 0.041）。这些结果表明，PathMoE 在除仅使用图像的 SOTA 基线之外显著提升了性能，同时揭示了驱动 individual 预测的具体模态交互。这种可解释性对于罕见肿瘤亚型尤其关键，因为透明的模型推理是临床信任和诊断验证的必不可少的要素。
引用
@article{arxiv.2603.01547,
title = {PathMoE: Interpretable Multimodal Interaction Experts for Pediatric Brain Tumor Classification},
author = {Jian Yu and Joakim Nguyen and Jinrui Fang and Awais Naeem and Zeyuan Cao and Sanjay Krishnan and Nicholas Konz and Tianlong Chen and Chandra Krishnan and Hairong Wang and Edward Castillo and Ying Ding and Ankita Shukla},
journal= {arXiv preprint arXiv:2603.01547},
year = {2026}
}