FMT：基于 Stacking MOE 框架的多模态肺炎检测模型
计算机视觉与模式识别
2025-03-10 v1 人工智能
摘要
人工智能已展现出通过医学图像分析提高肺炎诊断准确率的潜力。然而，传统的多模态方法往往无法应对现实世界中的挑战，如数据不完整和模态缺失。在本研究中，提出了一种灵活的多模态 Transformer（FMT），它使用 ResNet-50 和 BERT 进行联合表示学习，随后采用模拟临床模态缺失的动态掩码注意力策略以提高鲁棒性；最后，使用序列混合专家（MOE）架构来实现多级决策细化。在一个小型多模态肺炎数据集上进行评估后，FMT 取得了最先进的性能，准确率达到 94%，召回率达到 95%，F1 分数达到 93%，优于单模态基线（ResNet：89%；BERT：79%）和医学基准 CheXMed（90%），为资源受限医疗环境中的多模态肺炎诊断提供了可扩展的解决方案。
引用
@article{arxiv.2503.05626,
title = {FMT:A Multimodal Pneumonia Detection Model Based on Stacking MOE Framework},
author = {Jingyu Xu and Yang Wang},
journal= {arXiv preprint arXiv:2503.05626},
year = {2025}
}