MM-NeuroOnco：用于基于MRI的脑肿瘤诊断的多模态基准和指令数据集
计算机视觉与模式识别
2026-02-27 v1 人工智能
摘要
准确的脑肿瘤诊断要求模型不仅要检测病灶，还要生成基于影像表现的临床可解释推理，然而现有的公共数据集在注释丰富性和诊断语义方面仍然有限。为了弥合这一差距，我们引入了MM-NeuroOnco，一个用于脑肿瘤MRI理解的大规模多模态基准和指令调优数据集，包含来自20个数据源的24,726个MRI切片，以及约200,000条语义丰富的多模态指令，涵盖多种肿瘤亚型和成像模态。为了缓解诊断语义注释的稀缺性和高成本，我们开发了一个多模型协作流水线，用于自动化医学信息补全和质量控制，从而能够生成超越仅掩膜注释的诊断相关语义。在此数据集的基础上，我们进一步构建了MM-NeuroOnco-Bench，一个手动注释的评估基准，具有拒绝感知设置，以减少封闭式问题格式固有的偏差。对十个代表性模型的评估表明，即使是最强的基线Gemini 3 Flash，在诊断相关问题上的准确率也仅为41.88%，突出了多模态脑肿瘤诊断理解的巨大挑战。利用MM-NeuroOnco，我们进一步提出了NeuroOnco-GPT，在微调后诊断问题的准确率绝对提高了27%。这一结果证明了我们的数据集和基准在推进临床基础的多模态诊断推理方面的有效性。代码和数据集公开可用：https://github.com/gfnnnb/MM-NeuroOnco
引用
@article{arxiv.2602.22955,
title = {MM-NeuroOnco: A Multimodal Benchmark and Instruction Dataset for MRI-Based Brain Tumor Diagnosis},
author = {Feng Guo and Jiaxiang Liu and Yang Li and Qianqian Shi and Mingkun Xu},
journal= {arXiv preprint arXiv:2602.22955},
year = {2026}
}