MedMIX：用于多模态医疗诊断的模态内部专家融合
机器学习
2026-05-19 v1
摘要
多模态临床预测面临三个挑战：每个模态都有互补优势的多个基础模型（FMs），训练和测试时模态缺失普遍存在，以及样本特定的模态贡献差异。我们提出 MedMIX，一种多模态框架，结合模态内部专家融合、学习的模态间融合以及训练阶段的大模型-小模型协作，实现对不完整模态下稳健的医疗预测。在每个模态内部，MedMIX 聚合来自多个小型专家模型的互补嵌入；在模态之间，它对可用模态执行学习融合；在训练期间，它利用大型教师模型改进部署表示，无需额外推理成本。在三个异构基准（OpenI、MIMIC-IV-MM 和 MMIST-ccRCC）上，MedMIX 实现了持续的强性能，同时在受控的模态缺失扰动下保持稳健，并进一步在 MIMIC-III 上实现跨队列迁移的持久稳健。这些结果凸显 MedMIX 作为一种实用框架，统一了模态内部专家协作、样本特定的跨模态融合以及高效的大模型-小模型协作，同时对不完整模态保持稳健。
引用
@article{arxiv.2605.16639,
title = {MedMIX: Modality-Internal Expert Fusion for Multimodal Medical Diagnosis},
author = {Seungik Cho and Anqi Li and Wei Qiu},
journal= {arXiv preprint arXiv:2605.16639},
year = {2026}
}